Si sposò una sola volta, nel 1526, con la cugina Isabella del Portogallo. Quando costei morì nel 1539 per le complicazioni dell’ultima gravidanza, ne rimase così sconvolto che non prese una nuova moglie, contrariamente alla consuetudine dell’epoca, e continuò a indossare il nero in segno di lutto.

Il suo più acerrimo rivale fu il re di Francia Francesco I, con il quale combatté ben quattro guerre: la prima dal 1521 al 1526, la seconda dal 1526 al 1530, la terza dal 1536 al 1538 e la quarta dal 1542 al 1546.