Construction started in 1537, under the direction of the architects Luis de Vega and Alonso de Covarrubias, who renovated the old buildings around the King's Courtyard (Patio del Rey), in the medieval castle.
Stavba byla zahájena v roce 1537 pod vedením architektů Luise de Vegy a Alonsa de Covarrubias, kteří zrekonstruovali staré budovy kolem královského nádvoří (Patio del Rey) ve středověkém hradě.