लॉस एंजिल्स में जोएल के अनुभव रिकॉर्ड कंपनी के अधिकारियों से जुड़े हैं, जिन्होंने उनका अनुबंध के साथ करते हुए इस शर्त के साथ किया कि अगले दस एलबम के लिए कोलंबिया प्रोडक्शंस के लोगो के साथ-साथ फैमिली प्रोडक्शंस का लोगो भी लगाया जायेगा. एक शर्त यह थी कि जोएल के बिकने वाले हरेक एलबम की 25 प्रतिशत रॉयल्टी फैमिली प्रोडक्शंस को प्राप्त होगी। "पियानो मैन" का श्रेष्ठ गीत शीर्षक गीत ही था, "बिलबोर्ड" हॉट 100 में इसे महज #25 स्थान मिलने के बावजूद यह गीत जोएल का चिह्नक गीत बना (वे लगभग अपने सभी कार्यक्रमों का अंत इसी से किया करते)।

यात्रा बैंड में भी बदलाव किया गया, गिटार पर डोन इवान्स ने अल हर्ट्ज़बर्ग की जगह ली और बास परपैट्रिक मैकडॉनल्ड्स आये, जिन्हें 1974 में डोउग स्टेगमेयर ने प्रतिस्थापित किया, जो 1989 तक बिली के साथ बने रहे। टॉम व्हाइटहॉर्स बैंजो और पेडल स्टील और फिर जॉनी अल्मोंड सैक्स तथा कीबोर्ड पर आकर बैंड को तैयार किया। बिली के संक्रामक उत्साह और प्रतिभा ने बैंड को एक दृढ प्रदर्शन इकाई में बदल दिया, अमेरिका और कनाडा की बड़े पैमाने पर यात्रा की गयी और तत्कालीन लोकप्रिय संगीत शो पर दिखने लगे। 
कोलंबिया लेबल पर अपने दूसरे एलबम "स्ट्रीटलाइफ सेरेनेड" (Streetlife Serenade) लिखने के लिए जोएल लॉस एंजिल्स में ही रहे। लगभग इसी दौरान न्यूयॉर्क के पास के बेडफोर्ड-स्टुवेसेंट (Bedford-Stuyvesant) के उनके पुराने मित्र जोन ट्रॉय जोएल के प्रबंधक के रूप में काम करने लगे, हालांकि जल्द ही जोएल की पत्नी एलिजाबेथ द्वारा उन्हें प्रतिस्थापित किया गया। दोनों उपनगरों और भीतरी शहर के मसाले एलबम में डाले गये।

एलबम का "द एंटरटेनर" (The Entertainer) नामक गीत श्रेष्ठ रहा, जो अमेरिका में #34 हिट बना, इसने विषय-वस्तु की दृष्टि से उस जगह से शुरू किया जहां "पियानो मैन" ने छोड़ा था। जोएल इस बात से परेशान हुए कि रेडियो के लिए अधिक अनुकूल बनाने के लिए "पियानो मैन" को बहुत अधिक संपादित कर दिया गया था और "द एंटरटेनर" से "इफ यू'आर गोन्ना हैव ए हिट, यू गोट्टा मेक इट फिट, सो दे कट इट डाउन टु 3:05" ("If you're gonna have a hit, you gotta make it fit, so they cut it down to 3:05") जैसे व्यंग्यात्मक पंक्तियों को संपादित करने के लिए उन्हें कहा गया, ताकि एलबम के लंबे संस्करण की तुलना में रेडियो के लिए एक्लों को छोटा किया जा सके। हालांकि "स्ट्रीटलाइफ सेरेनेड" को अक्सर जोएल के कमजोर एलबमों में शामिल किया जाता है (जोएल ने इस एलबम के प्रति अपनी अरुचि की पुष्टि भी की है), फिर भी इसमें कुछ उल्लेखनीय गीत हैं, इनमें शीर्षक गीत "लॉस एन्जिलेनोस" भी शामिल है, इसके अलावा वाद्य संगीत "रूट बीयर रैग" (Root Beer Rag) भी है, जो 70 के दशक में उनके लाइव कार्यक्रमों का मुख्य भाग हुआ करता था और जो 2007 तथा 2008 में फिर से बार-बार दुबारा शुरू हुआ। "स्ट्रीटलाइफ सेरेनेड" (Streetlife Serenade) जोएल की अधिक विश्वासपूर्ण गायन शैली की शुरुआत के रूप में भी चिह्नित हुआ।

1975 के अंत में, उन्होंने बो डिडली (Bo Diddley) के "द 20एथ एनिवर्सरी ऑफ़ रॉक 'एन' रोल" (The 20th Anniversary of Rock 'n' Roll) सभी कलाकारों के एलबम के लिए पियानो तथा ऑर्गन बजाया.

एल.ए. संगीत रंगमंच से विरक्त होने के बाद जोएल 1976 में न्यूयॉर्क लौट आए। वहां उन्होंने "टर्न्स्टाइल" (Turnstiles) की रिकॉर्डिंग की, जिसके लिए उन्होंने पहली बार अपने चुने हुए संगीतकारों का स्टूडियो में उपयोग किया और एक अधिक प्रायोगिक भूमिका को अपनाया. शुरू में एल्टन जॉन के बैंड के सदस्यों के साथ कारिबू रैंच में गीतों को रिकॉर्ड किया गया और विख्यात शिकागो निर्माता जेम्स विलियम गुर्सियो द्वारा इसका निर्माण किया गया, लेकिन परिणाम से जोएल संतुष्ट नहीं हुए. गानों को फिर से न्यूयॉर्क में रिकॉर्ड किया गया और जोएल ने कार्यभार संभाला और एलबम का निर्माण खुद किया।

मामूली हिट "से गुडबाई टु हॉलीवुड" (Say Goodbye to Hollywood) से फिल स्पेक्टर की गूंज सुनाई देती थी और इसे रोनी स्पेक्टर ने आवृत किया था (2008 के एक रेडियो साक्षात्कार में जोएल ने कहा कि अब वे अपने लाइव कार्यक्रमों में "से गुडबाई टु हॉलीवुड" का प्रदर्शन नहीं करेंगे क्योंकि एक सुर में यह बहुत ऊंचा है और उनकी स्वरतंत्री की धज्जियां उड़ा देता है।) एलबम में "न्यूयॉर्क स्टेट ऑफ़ माइंड" गीत को भी शामिल किया गया, जो एक ब्लूसी (bluesy), जैज़ शैली का काव्य है, जो जोएल का चिह्नक गीत बन गया। और जिसे बाद में उनकी कोलंबिया लेबल की साथी बारबरा स्ट्रेइसैंड ने अपने 1977 के "स्ट्रेइसैंड सुपरमैन" (Streisand Superman) एलबम में आवृत किया और टोनी बेनेट के साथ एक युगल के रूप में अपने 2001 "" एलबम में भी शामिल किया। एलबम के अन्य गीतों में शामिल हैं "समर, हाइलैंड फॉल्स", "मियामी 2017 (सीन द लाइट्स गो आउट ऑन ब्रॉडवे)" और "से गुड बाई टु हॉलीवुड", जो एक 1981 में एक लाइव संस्करण में शीर्ष 40 पर जा पहुंचे। "प्रील्यूड/एंग्री यंग मैन" जैसे गीत वर्षों तक उनके कार्यक्रमों के एक मुख्य आधार बने रहे।

कोलंबिया वर्ष: 1973-1976
फेस-टू-फेस दौरा
आत्मकथा
जीवन और कैरियर