Thánh Gioan sinh tại Tuscia. Ngài được chọn làm giám mục Rôma ngày 13 tháng 8 năm 523. Người ta không biết gì về đời thơ ấu của thánh nhân, nhưng từ ngày lên kế vị thánh Phêrô, ngài đã nhiệt thành sống khẩu hiệu “tất cả vì danh Chúa”. Ngài đã có công hoàn thành nhạc bình ca mà các vị tiền nhiệm của ngài là Đức Celestinô I, Leo Cả và Galesiô khởi xướng.