Felipe II's største varige arv er El Escorial, et storslått palass og kloster i foten av Sierra de Guadarrama, nordvest for Madrid.
Felipe II brydde seg lite om palasset og klosteret, og tilbrakte mesteparten av tiden i byen.