मोहम्मद रफ़ी का जन्म 24 दिसम्बर 1924 को अमृतसर, के पास "कोटला सुल्तान सिंह" में हुआ था। आरंभिक स्कूली पढ़ाई कोटला सुल्तान सिंह में हुई। जब मोहम्मद रफी करीब सात साल के हुए तब उनका परिवार रोजगार के सिलसिले में लाहौर आ गया। इनके परिवार का संगीत से कोई खास सरोकार नहीं था। जब रफ़ी छोटे थे तब इनके बड़े भाई की नाई की दुकान थी, रफ़ी का काफी वक्त वहीं पर गुजरता था। कहा जाता है कि रफ़ी जब सात साल के थे तो वे अपने बड़े भाई की दुकान से होकर गुजरने वाले एक फकीर का पीछा किया करते थे जो उधर से गाते हुए जाया करता था। उसकी आवाज रफ़ी को पसन्द आई और रफ़ी उसकी नकल किया करते थे। उनकी नकल में अव्वलता को देखकर लोगों को उनकी आवाज भी पसन्द आने लगी। लोग नाई की दुकान में उनके गाने की प्रशंशा करने लगे। लेकिन इससे रफ़ी को स्थानीय ख्याति के अतिरिक्त और कुछ नहीं मिला। इनके बड़े भाई मोहम्मद हमीद ने इनके संगीत के प्रति इनकी रुचि को देखा और उन्हें उस्ताद अब्दुल वाहिद खान के पास संगीत शिक्षा लेने को कहा। एक बार आकाशवाणी (उस समय ऑल इंडिया रेडियो) लाहौर में उस समय के प्रख्यात गायक-अभिनेता कुन्दन लाल सहगल अपना प्रदर्शन करने आए थे। इसको सुनने हेतु मोहम्मद रफ़ी और उनके बड़े भाई भी गए थे। बिजली गुल हो जाने की वजह से सहगल ने गाने से मना कर दिया। रफ़ी के बड़े भाई ने आयोजकों से निवेदन किया की भीड़ की व्यग्रता को शांत करने के लिए मोहम्मद रफ़ी को गाने का मौका दिया जाय। उनको अनुमति मिल गई और 13 वर्ष की आयु में मोहम्मद रफ़ी का ये पहला सार्वजनिक प्रदर्शन था। प्रेक्षकों में श्याम सुन्दर, जो उस समय के प्रसिद्ध संगीतकार थे, ने भी उनको सुना और काफी प्रभावित हुए। उन्होने मोहम्मद रफ़ी को अपने लिए गाने का न्यौता दिया।

मोहम्मद रफ़ी का प्रथम गीत एक पंजाबी फ़िल्म "गुल बलोच" के लिए था जिसे उन्होने श्याम सुंदर के निर्देशन में 1944 में गाया। सन् 1946 में मोहम्मद रफ़ी ने बम्बई आने का फैसला किया। उन्हें संगीतकार नौशाद ने "पहले आप" नाम की फ़िल्म में गाने का मौका दिया।

गायन सफर
आरंभिक दिन
अवरोहन
जिन अभिनेताओं के लिए पार्श्वगायन किया