इस मकान को विशेषकर क्वीन चार्लोट के लिये-जिनके 15 बच्चों में से 14 वहीं पैदा हुए थे, मूलतः एक निजी संपत्ति समझा गया था और इसे द क्वींस हाउस के नाम से जाना जाता था। सेंट जेम्स पैलेस आधिकारिक और समारोंहों के लिये शाही निवास रह गया था।

इस निर्माण का जीर्णोद्धार 1762 में शुरु हुआ। 1820 में राजगद्दी पर बैठने के बाद जॉर्ज VI ने इसे एक छोटे आरामदायक स्वरूप में बनाने का विचार कर पुनरोद्धार कार्य को आगे बढाया. जब यह कार्य प्रगति पर था, 1826 में महराजा ने अपने वास्तुकार जॉन नैश की मदद से मकान को एक महल में रूपांतरित करने का फ़ैसला किया। कुछ फ़िनिशिंग कार्ल्टन हाउस से स्थानांतरित कर यहाँ लायी गयी और बाकी को फ़्रांसीसी क्रांति के बाद फ़्रांस से खरीदा गया। बाहरी हिस्से को जॉर्ज IV की पसंद के फ़्रांसीसी नियो क्लासिकल प्रभाव में डिजाइन किया गया। जीर्णोद्धार कार्यों की लागत काफ़ी तेजी से बढी और 1829 तक नैश के डिजाइन के व्यापक स्वरूप के परिणाम स्वरूप उनके वास्तुकार के रूप में उन्हें हटाये जाने पर बाध्य कर दिया. 1830 में जॉर्ज IV की मौत पर, उनके छोटे भाई विलियम IV ने उनके काम को पूरा करने के लिये एडवर्ड ब्लोर की सेवा प्राप्त की. एक समय, 1834 में मौजूदा नेमशेक के आग से नष्ट हो जाने के बाद, विलियम ने महल को संसद के नये मकानों में तब्दील करने का विचार किया था।

गार्डन, शाही घुड़साल और मॉल
महारानी के घर से महल तक
इतिहास
गोरिंग हाउस