हिब्रू बाइबिल के अनुसार राजा डेविड के ग्यारहवीं शताब्दी ईसापूर्व में आक्रमण से पूर्व यह शहर जेबूसाइट जनजाति का निवास स्थल था। बाइबिल ने इसे रक्षा प्राचीरों से घिरा हुआ शहर बताया है, जो तथ्य पुरातात्विक सर्वेक्षणों द्वारा प्रमाणित हो चुका है। बाइबिल के अनुसार डेविड के बेटे सोलोमन ने शहर का विस्तार किया और टेम्पल माउंट की स्थापना की।

नव-असीरियन सम्राज्य द्वारा इसरायली साम्राज्य के उत्तरी क्षेत्र के विनाश के बाद शहर का वृहद विस्तार पश्चिम की ओर हुआ और यहाँ शरणार्थियों का ताँता लग गया। 586 ईसापूर्व में नेबुचंदनेज्ज़र द्वारा शहर को नष्ट किये जाने के पश्चात इसे हख़ामनी साम्राज्य के दौरान एक यहूदी नेहेमिया ने इसका छोटे स्तर पर पुनर्निर्माण करवाया। हेरोद महान द्वारा इस शहर की दूसरी दीवार बनवायी गयी। 41–44 ईस्वी के दौरान जुदेआ के राजा अग्रिप्पा प्रथम द्वारा शहर की तीसरी दीवार का निर्माण शुरू हुआ। पूरे शहर को 70 ईस्वी में रोमनों द्वारा पूरी तरह नष्ट कर दिया गया।

शहर के उत्तरी भाग का पुनर्निर्माण हेद्रिअन द्वारा 130 ईस्वी के आसपास करवाया गया। बाइज़ेंटाइन साम्राज्य के दौरान शहर का विस्तार दक्षिणी भाग में हुआ।

सातवीं शताब्दी (637 CE) में मुस्लिमों ने द्वितीय खलीफा उमर के नेतृत्व में यरुशलम पर कब्ज़ा करके इसे अरब सम्राज्य में मिला लिया। 1099 ईस्वी में प्रथम क्रूसयुद्ध के दौरान ईसाईयों ने शहर पर कब्ज़ा कर लिया और यह कब्ज़ा तब तक बना रहा जब तक अरब मुसलमानों ने 2 अक्टूबर 1187 को सलाउद्दीन के नेतृत्व में इसे एक बार फिर अपने नियंत्रण में ले लिया। उसने शहर में यहूदियों को फिर से बसने की इजाजत दी। शहर की दीवारों को दमिश्क के सुल्तान मुअज्ज़िम ने ढहा दिया। 1229 में मिस्र के साथ सन्धि के तहत शहर का नियंत्रण फ्रेडरिक द्वितीय के हाथों में आ गया। उसने 1239 में शहर की दीवारों की मरम्मत करवाई पर यह एक बार फिर केरक के अमीर दाउद ने ध्वस्त कर दी। 1243 में शहर पर फिर से ईसाईयों का कब्जा हो गया और उन्होंने एक बार फिर से दीवारों का पुनर्निर्माण करवाया। 1244 में ख़्वारेज़्म के तातरों ने एक शहर पर कब्जा किया और एक बार फिर से दीवारें ढहा दी गयी।
शहर की वर्तमान दीवारें उस्मानी तुर्की सम्राज्य के सुल्तान सुलेमान प्रथम द्वारा बनवायी गयी है। इन दीवारों का विस्तार लगभग 4.5 कि॰मी॰, ऊचाई 5 से 15 मी॰ और चौड़ाई 3 मीटर तक की है। सुलेमान की दीवार में 6 दरवाजे है, जिसमे सातवाँ नया दरवाजा 1887 में जोड़ा गया।

1980 में जॉर्डन ने पुराने शहर को यूनेस्को की विश्व धरोहर सूची में डालने का प्रस्ताव रखा। 1981 में इसे इस सूची में शामिल कर लिया गया। 1982 में जॉर्डन ने पुराने शहर को खतरे में विश्व धरोहर स्थलों की सूची में डालने का आवेदन दिया। संयुक्त राज्य अमेरिका ने इस आवेदन का इस आधार पर विरोध किया कि जॉर्डनी सरकार इस पर कोई निर्णय नहीं ले सकती क्योंकि यह प्रभावी रूप से इजराइल का हिस्सा है इसलिये उनकी सहमती इस मसले पर मायने रखती है। 2011 में यूनेस्को ने बयान जारी करके कहा कि पूर्व यरुशलम (जिसके अंतर्गत पुराना शहर आता है) फिलिस्तीन का हिस्सा है और यरुशलम शहर का मुद्दा स्थायी तौर पर सुलझाया जाय।

इतिहास
मुस्लिम खण्ड
अर्मेनियाई खण्ड
खण्ड