Callistô có lẽ sinh ra vào gần cuối thế kỷ II, là nô lệ đến từ Rôma. Sau khi làm mất hết tiền của ông chủ, Callistô hoảng sợ và trốn khỏi thành phố, nhưng đã bị bắt lại ngay tại bến cảng Ostia và bị phạt làm phu hầm mỏ tại Sardinia. Sau đó Callistô được thả về nhờ sự can thiệp của bà vợ bé của Hoàng đế, và sống ở vùng bờ biển Anzio.