Das südöstlich von Rom gelegene Castel Gandolfo baute er zu seiner Sommerresidenz aus.
Hier verbrachte er viele Sommer und Feiertage, oft in der Gesellschaft von Kardinälen und anderen Würdenträgern der Kirche. Die Sommerresidenz war ein beliebter Treffpunkt für die römische Kurie.