इस साइट के अंदर पहला मकान संभवतः 1624 के आस-पास सर विलियम ब्लेक द्वारा तैयार किया गया था। इसके अगले मालिक लॉर्ड गोरिंग थे जिन्होंने ब्लेक के मकान का विस्तार कर आज के गार्डन के ज्यादातर हिस्से को विकसित किया, जिसे उस समय गोरिंग ग्रेट गार्डन के रूप में जाना जाता था। हालांकि, उन्होंने मलबरी गार्डन में फ़्रीहोल्ड प्राप्त करने में रुचि नहीं दिखायी थी। 1640 में गोरिंग के नाम एक अज्ञात दस्तावेज में “किंग चार्ल्स I के लंदन भाग जाने से पहले, जहाँ कानूनी दंड के लिये इसकी जरूरत थी, ग्रेट सील को पास करने में असफ़ल रहा.” (यही वह महत्वपूर्ण चूक थी जिसने किंग जॉर्ज III के अधीन ब्रिटिश शाही परिवार को इसका फ़्रीहोल्ड प्राप्त करने में मदद की.)

आधुनिक इतिहास
डेब्युटेंट्स की प्रस्तुति
गोरिंग हाउस
राजकीय भोज