El primer papa llamado Juan nació en la Toscana y durante muchos años se desempeñó como archidiácono antes de ser elegido pontífice en el año 523, sucediendo a San Hormisdas.
Durante el pontificado de Juan, Italia estaba gobernada por el rey ostrogodo Teodorico el Grande. Como muchos de los miembros de su pueblo, el rey adhería a la herejía arriana, que sostenía que Cristo era una criatura creada y no la Segunda Persona de la Santísima Trinidad.
En 523, el emperador bizantino Justino I ordenó que el clero arriano entregara sus iglesias a los católicos ortodoxos. La decisión provocó la ira de Teodorico, que intentó servirse de la autoridad del papa para defender los intereses de los arrianos.
Aunque el papa Juan defendía la verdadera naturaleza de Cristo, el rey esperaba que intercediera ante el emperador en favor de los herejes arrianos. Su negativa terminaría llevándolo al martirio.
El papa viajó a Constantinopla, donde fue recibido con grandes honores como sucesor de San Pedro por el emperador y por los legítimos patriarcas orientales. Allí coronó a Justino y celebró la liturgia de Pascua en la iglesia de Santa Sofía en abril de 526.
Teodorico se enfureció al enterarse de que Juan no había apoyado a los arrianos durante su visita a Constantinopla. El rey ya había ordenado la muerte de su amigo San Severino Boecio
Debilitado por el largo viaje, el papa fue encarcelado en Rávena y privado de alimento. Murió alrededor del 18 de mayo, fecha que luego se convirtió en su festividad litúrgica.