Den enorme og imponerende residensen ligger midt i formelle hager på en klippe med utsikt over Manzanares-dalen, på stedet for den gamle mauriske festningen (som brant ned i 1734).
Noen av kunst og historie har lenge vært ødelagt.