1950 के दशक में शंकर जयकिशन, नौशाद तथा सचिनदेव बर्मन ने रफ़ी से उस समय के बहुत लोकप्रिय गीत गवाए। यह सिलसिला 1960 के दशक में भी चलता रहा। संगीतकार रवि ने मोहम्मद रफ़ी का इस्तेमाल 1960 के दशक में किया। 1960 में फ़िल्म चौदहवीं का चांद के शीर्षक गीत के लिए रफ़ी को अपना पहला फ़िल्म फेयर पुरस्कार मिला। इसके बाद घराना (1961), काजल (1965), दो बदन (1966) तथा नीलकमल (1968) जैसी फिल्मो में इन दोनो की जोड़ी ने कई यादगार नगमें दिए। 1961 में रफ़ी को अपना दूसरा फ़िल्मफेयर आवार्ड फ़िल्म ससुराल के गीत "तेरी प्यारी प्यारी सूरत को" के लिए मिला। संगीतकार जोड़ी लक्ष्मीकांत प्यारेलाल ने अपना आगाज़ ही रफ़ी के स्वर से किया और 1963 में फ़िल्म पारसमणि के लिए बहुत सुन्दर गीत बनाए। इनमें "सलामत रहो" तथा "वो जब याद आये" (लता मंगेशकर के साथ) उल्लेखनीय है। 1965 में ही लक्ष्मी-प्यारे के संगीत निर्देशन में फ़िल्म दोस्ती के लिए गाए गीत "चाहूंगा मै तुझे सांझ सवेरे" के लिए रफ़ी को तीसरा फ़िल्मफेयर पुरस्कार मिला। 1965 में उन्हें भारत सरकार ने पद्मश्री पुरस्कार से नवाजा।

1965 में संगीतकार जोड़ी कल्याणजी-आनंदजी द्वारा फ़िल्म जब जब फूल खिले के लिए संगीतबद्ध गीत "परदेसियों से ना अखियां मिलाना" लोकप्रियता के शीर्ष पर पहुंच गया था। 1966 में फ़िल्म सूरज के गीत "बहारों फूल बरसाओ" बहुत प्रसिद्ध हुआ और इसके लिए उन्हें चौथा फ़िल्मफेयर अवार्ड मिला। इसका संगीत शंकर जयकिशन ने दिया था। 1968 में शंकर जयकिशन के संगीत निर्देशन में फ़िल्म ब्रह्मचारी के गीत "दिल के झरोखे में तुझको बिठाकर" के लिए उन्हें पाचवां फ़िल्मफेयर अवार्ड मिला।

गायन सफर
अन्य भाषाओं में
आरंभिक दिन
जिन अभिनेताओं के लिए पार्श्वगायन किया