Kort tid etter ankomsten til Spania arvet den unge mannen tittelen Den hellige romerske keiser, som Karl V. Kroneansvaret holdt ham opptatt borte fra de kongelige residensene i Toledo, Segovia, Valladolid og Madrid.
Karl V var ganske trist å bli skilt fra sine overdådige hjem.