Carlo era figlio di Filippo il Bello d'Asburgo, figlio a sua volta dell'Imperatore Massimiliano I d'Austria e di Maria di Borgogna, erede dei vasti possedimenti dei Duchi di Borgogna. La madre era invece Giovanna di Castiglia e d'Aragona, detta "la Pazza", figlia dei re cattolici Ferdinando II d'Aragona e della sua consorte Isabella di Castiglia. In virtù di questi avi d'eccezione, Carlo poté ereditare un vastissimo impero, oltretutto in continua espansione, ed esteso su tre continenti (Europa, Africa e America). Nelle sue vene infatti scorreva sangue delle più disparate nazionalità: austriaca, tedesca, spagnola, francese, polacca, italiana e inglese.

Tramite il padre discendeva infatti, oltre che naturalmente dagli Asburgo, i quali ormai da tre secoli regnavano sull'Austria e da quasi 100 anni ininterrottamente sull'Impero germanico, anche dalla casata polacca dei Piast, del ramo dei duchi di Masovia, attraverso la trisavola Cimburga di Masovia (e questa discendenza gli lascerà anche un evidente difetto fisico: il noto "mento asburgico"). Il marito di Cimburga, il duca di Stiria Ernesto il Ferreo, era invece figlio di Verde Visconti e ciò rendeva Carlo diretto discendente dei Visconti di Milano e quindi pretendente legittimo al Ducato di Milano. Tramite la nonna Maria, duchessa di Borgogna, egli discendeva invece dai re di Francia della Casa dei Valois, diretti discendenti di Ugo Capeto; ciò rendeva dunque Carlo discendente del grande casato dei Capetingi, e quindi per linea non esclusivamente maschile anche del fondatore dell'Impero, il suo omonimo Carlo MAGNO