फैमिली प्रोडक्शंस के साथ जोएल ने अपना पहला एकल रिकॉर्ड अनुबंध हस्ताक्षरित किया और इसके बाद उनका पहला एकल एलबम रिकॉर्ड हुआ। "कोल्ड स्प्रिंग हार्बर" (लौंग आइलैंड टाउन के उसी नाम का एक संदर्भ), 1971 में जारी किया गया। हालांकि, इस एलबम को गलत रफ्तार पर तैयार किया गया और इस त्रुटि के साथ शुरू में यह एलबम जारी कर दी गयी, परिणामस्वरूप जोएल का अर्द्धस्वर बहुत ऊंचा सुनाई पड़ता है। फैमिली प्रोडक्शंस के अनुबंध की शर्तें भी ऎसी कष्टकर थीं कि एलबम की बिक्री से बहुत ही कम पैसे की गारंटी होती थी।

"शी'ज गौट ए वे" (She's Got a Way) और "एवरीबड़ी लव्स यू नाऊ" (Everybody Loves You Now) जैसे लोकप्रिय एलबम जैसे कट्स मूल रूप से इसी एलबम में जारी हुए, हालांकि तब तक उन पर अधिक ध्यान नहीं दिया गया, जब तक कि "सौंग्स इन द एटिक" (Songs in the Attic) का लाइव प्रदर्शन 1981 में जारी नहीं हो गया। तबसे, वे पसंदीदा संगीत इकाई बन गए। 1984 में "कोल्ड स्प्रिंग हार्बर" को चार्ट में दूसरा मौका प्राप्त हुआ, जब कोलंबिया ने गति सही करके धीमा करने के बाद इस एलबम को फिर से जारी किया। लगभग एक वर्ष बाद एलबम अमेरिका में #158 पर पहुंचा और ब्रिटेन में #95 पर. "कोल्ड स्प्रिंग हार्बर" ने मेरीली रश (Merrilee Rush) ("एंजिल ऑफ़ द मॉर्निंग" (Angel of the Morning)) का ध्यान आकर्षित किया और उन्होंने 1971 में सेप्टर रिकॉर्ड्स (Scepter Records) के लिए "शी'ज गौट ए वे" (She’s Got a Way) का (ही'ज गौट ए वे (He’s Got a Way)) एक महिला (femme) संस्करण बनाया।

1971 में न्यूयॉर्क शहर में स्थानीय रूप से जोएल की बुकिंग हुई और 1972 के प्रारंभ में वे लॉस एंजिल्स चले गये, उन्होंने अपना एक नया नाम रखा "बिल मार्टिन" . कैलिफोर्निया में विलशायर बुलेवर्ड के द एक्जिक्यूटिव रूम (The Executive Room) पियानो बार में छः महीने तक काम किया। यहीं पर उन्होंने बार के विभिन्न ग्राहकों के बारे में अपने चिह्नक हिट "पियानो मैन" की रचना की। इसके बाद उन्होंने अपने बैंड सदस्यों (ड्रमर रिस क्लार्क, गिटारवादक अल हर्ट्ज़बर्ग और बास वादक लैरी रसेल) के साथ जून 1972 के अंत तक पूरे यूएस (US) और प्युर्टो रिको की यात्रा की और जे. गेल्स बैंड, द बीच ब्वॉय (The Beach Boys) और ताज महल जैसे सुर्ख़ियों में छाये रहने वाले बैंडों में प्रारंभिक कार्यक्रम पेश किया। प्युर्टो रिको में मैरी सोल फेस्टिवल (Mar y sol festival) में उन्होंने भीड़ को उत्तेजना से भर दिया, इससे उनके कैरियर को एक बड़ा बढ़ावा मिला। 

इसके अलावा, फिलाडेल्फिया रेडियो स्टेशन, डब्ल्यूएमएमआर (WMMR)-एफएम (FM) ने एक लाइव कार्यक्रम से लिये गये जोएल के एक नए गीत "कैप्टन जैक" (Captain Jack) का प्रसारण शुरू किया। यह ईस्ट कोस्ट में एक भूमिगत हिट बन गया। कोलंबिया रिकॉर्ड्स के एक अधिकारी हर्ब गोर्डन ने जोएल का संगीत सुना और जोएल की प्रतिभा से अपनी कंपनी को अवगत कराया. जोएल ने 1972 में कोलंबिया के साथ एक रिकॉर्डिंग अनुबंध पर हस्ताक्षर किए और लॉस एंजिल्स चले गए। वे वहां तीन साल रहे (और इन तीन वर्षों को उन्होंने सबसे बड़ी गलती करार दिया) और 1975 में न्यूयॉर्क शहर लौट गये।

फेस-टू-फेस दौरा
अवसाद
विवाह और परिवार
"कोल्ड स्प्रिंग हार्बर (Cold Spring Harbor)"