अपने जीवन के आखिरी सालों में अरब जनजातियों को एक मुस्लिम धार्मिक राजनीति में एकजुट करने के बाद, 632 में मुहम्मद की मृत्यु ने इस बात पर असहमति व्यक्त की कि मुस्लिम समुदाय के नेता के रूप में उन्हें कौन सफल करेगा। जबकि अली और बाकी मुहम्मद के करीबी परिवार अपने शरीर को दफनाने के लिए धो रहे थे, जबकि साकिफा में मुस्लिमों के एक छोटे समूह ने भाग लिया, एक मुहम्मद के करीबी साथी अबू बकर को समुदाय के नेतृत्व के लिए नामित किया गया था। दूसरों ने अपना समर्थन जोड़ा और अबू बकर को पहला खलीफा बनाया गया था। अबू बकर की पसंद मुहम्मद के कुछ साथीों ने विवादित की थी, जिन्होंने कहा था कि अली को मुहम्मद ने अपने उत्तराधिकारी को नामित किया था। 

बाद में जब फतिमाह और अली ने खलीफा के अधिकार के मामले में सहयगियों से सहायता मांगी, तो उन्होंने उत्तर दिया, 'हे भगवान के मैसेन्जर की बेटी! हमने अबू बकर को अपना निष्ठा दिया है। अगर अली इससे पहले हमारे पास आए थे, तो हम निश्चित रूप से उसे त्याग नहीं पाएंगे। अली ने कहा, 'क्या यह उचित था कि पैगंबर को दफनाए जाने से पहले हमें खलीफा पर झगड़ा करना चाहिए?' 

खिलाफ़त के चुनाव के बाद, अबू बकर और उमर कुछ अन्य साथी के साथ फातिमा के घर गए और अली और उनके समर्थकों को मजबूर करने के लिए मजबूर किया जो अबू बकर को अपना निष्ठा देने के लिए इकट्ठे हुए थे। फिर, यह आरोप लगाया गया है कि उमर ने आग लगने की धमकी दी थी जब तक वे बाहर नहीं आए और अबू बकर के प्रति निष्ठा की कसम खाई। अपने पति के समर्थन में फातिमा ने एक प्रलोभन शुरू कर दिया और "अपने बालों को उजागर करने" की धमकी दी, जिस पर अबू बकर ने पश्चाताप किया और वापस ले लिया। अली ने बार-बार कहा है कि उनके साथ चालीस पुरुष थे, उन्होंने विरोध किया होगा। अली ने सक्रिय रूप से अपना अधिकार नहीं लगाया क्योंकि वह नवजात मुस्लिम समुदाय को संघर्ष में फेंकना नहीं चाहता था। अन्य सूत्रों का कहना है कि अली ने उमर के चयन को खलीफा के रूप में स्वीकार कर लिया और यहां तक ​​कि उनकी बेटियों उम कुलथुम को शादी में भी दिया।

इस विवादास्पद मुद्दे ने मुसलमानों को बाद में दो समूहों, सुन्नी और शिया में विभाजित कर दिया। सुन्नीस ने जोर देकर कहा कि मुहम्मद ने कभी उत्तराधिकारी नियुक्त नहीं किया है, फिर भी अबू बकर मुस्लिम समुदाय द्वारा पहले खलीफ चुने गए थे। सुन्नी मुहम्मद के सही उत्तराधिकारी के रूप में पहले चार खलीफों को पहचानते हैं। शियास का मानना ​​है कि मुहम्मद ने स्पष्ट रूप से अली को गदीर खुम में उनके उत्तराधिकारी के रूप में नामित किया और मुस्लिम नेतृत्व उनसे संबंधित था जो दिव्य आदेश द्वारा निर्धारित किए गए थे। 

विल्फेर्ड मैडेलंग के मुताबिक, अली स्वयं मुहम्मद, उनके घनिष्ठ संबंध और इस्लाम के बारे में उनके ज्ञान और उनके गुणों की सेवा में उनकी योग्यता के साथ अपने करीबी संबंध के आधार पर खलीफा के लिए अपनी वैधता से आश्वस्त थे। उन्होंने अबू बकर से कहा कि खलीफा के रूप में निष्ठा (बाया) को प्रतिज्ञा करने में उनकी देरी उनके पहले के शीर्षक की उनकी धारणा पर आधारित थी। अली ने आखिरकार अबू बकर और फिर उमर और उथमान के प्रति निष्ठा का वचन दिया, लेकिन इस्लाम की एकता के लिए ऐसा किया था, जब एक बार जब यह स्पष्ट हो गया कि मुसलमान उससे दूर हो गए थे। अली ने यह भी माना कि वह इस लड़ाई के बिना इमामेट की अपनी भूमिका पूरी कर सकता है। 

अबू बकर के खलीफाट की शुरुआत में, मुहम्मद की बेटी, विशेष रूप से फडक , फतिमह और अली के बीच एक तरफ और दूसरी तरफ अबू बकर के बीच एक विवाद था। फातिमा ने अबू बकर से अपनी संपत्ति, फदाक और खयबर की भूमि को बदलने के लिए कहा । लेकिन अबू बकर ने इनकार कर दिया और उनसे कहा कि भविष्यवक्ताओं के पास कोई विरासत नहीं है और फडक मुस्लिम समुदाय से संबंधित था। अबू बकर ने उससे कहा, "अल्लाह के प्रेरित ने कहा, हमारे उत्तराधिकारी नहीं हैं, जो कुछ भी हम छोड़ते हैं वह सदाका है ।" उम्म अयमान के साथ मिलकर, अली ने इस तथ्य की गवाही दी कि मुहम्मद ने इसे फातिमा जहर को दिया, जब अबू बकर ने उनसे अपने दावे के लिए गवाहों को बुलावा देने का अनुरोध किया। फातिमा गुस्से में हो गई और अबू बकर से बात करना बंद कर दिया, और जब तक वह मर गई, तब तक वह रवैया मानते रहे। 

'ऐशा ने यह भी कहा कि "जब अल्लाह के प्रेषित की मृत्यु हो गई, तो उनकी पत्नियों ने उथमान को अबू बकर को भेजने के लिए कहा कि वह विरासत के अपने हिस्से के लिए कहें।" तब 'ऐशा ने उनसे कहा, "क्या अल्लाह के प्रेरित ने नहीं कहा,' हमारी (प्रेरित ') संपत्ति विरासत में नहीं है, और जो भी हम छोड़ते हैं वह दान में खर्च किया जाना चाहिए?" 

कुछ सूत्रों के मुताबिक, अली ने वर्ष 633 में अपनी पत्नी फातिमा की मृत्यु के कुछ समय बाद अबू बकर को निष्ठा की शपथ नहीं दी थी। 'अली ने अबू बकर के अंतिम संस्कार में भाग लिया। 
उन्होंने दूसरे खलीफा उमर इब्न खट्टाब के प्रति निष्ठा का वचन दिया और उन्हें एक विश्वसनीय सलाहकार के रूप में मदद की। उमर विशेष रूप से अली पर मदीना के मुख्य न्यायाधीश के रूप में निर्भर था। उन्होंने उमर को इस्लामी कैलेंडर की शुरुआत के रूप में हिजरा सेट करने की सलाह दी। उमर ने राजनीतिक मुद्दों के साथ-साथ धार्मिक लोगों में अली के सुझावों का इस्तेमाल किया। 

'अली उमर द्वारा नियुक्त तीसरी खलीफा चुनने के लिए चुनावी परिषद में से एक था। हालांकि 'अली दो प्रमुख उम्मीदवारों में से एक था, परिषद की व्यवस्था उनके खिलाफ थी। साद इब्न अबी वक्कास और अब्दुर रहमान बिन Awf , जो चचेरे भाई थे, स्वाभाविक रूप से उथमान का समर्थन करने के इच्छुक थे, जो अब्दुर रहमान के दामाद थे। इसके अलावा, उमर ने अब्दुर रहमान को कास्टिंग वोट दिया। अब्दुर रहमान ने इस शर्त पर अली को खलीफा की पेशकश की कि उसे कुरान के अनुसार शासन करना चाहिए, मुहम्मद द्वारा निर्धारित उदाहरण , और पहले दो खलीफा द्वारा स्थापित उदाहरण। अली ने तीसरी शर्त से इंकार कर दिया जबकि उथमैन ने उसे स्वीकार कर लिया। इलॉन अबी अल-हदीद की टिप्पणियों के अनुसार इलोकेंस अली के शिखर पर उनकी प्रतिष्ठा पर जोर दिया गया, लेकिन अधिकांश मतदाताओं ने उथमान और अली को समर्थन देने के लिए अनिच्छुक रूप से आग्रह किया। 

'उथमान इब्न' अफ़ान ने अपने रिश्तेदार बानू अब्द-शम्स की ओर उदारता व्यक्त की, जो उनके ऊपर हावी होने लगते थे, और अबू धार अल-घिफ़ारी , अब्द-अल्लाह इब्न मसूद और अमार जैसे कई शुरुआती साथीों के प्रति उनके घमंडी दुर्व्यवहार इब्न यासीर ने लोगों के कुछ समूहों के बीच अपमान को उकसाया। अधिकांश साम्राज्य में 650-651 के बाद से असंतोष और प्रतिरोध खुलेआम उभरा। उनके शासन और उनके द्वारा नियुक्त सरकारों के साथ असंतोष अरब के बाहर प्रांतों तक ही सीमित नहीं था। जब उथमान के रिश्तेदार, विशेष रूप से मारवान ने उस पर नियंत्रण प्राप्त किया, तो महान परिषद , जिसमें मतदाता परिषद के अधिकांश सदस्य शामिल थे, उनके खिलाफ हो गए या कम से कम अपना समर्थन वापस ले लिया, खलीफा पर दबाव डालने और अपने तरीकों को कम करने के दबाव डालने अपने दृढ़ संबंध का प्रभाव। 

इस समय, अली ने उथमान पर सीधे विरोध किए बिना एक संयम प्रभाव के रूप में कार्य किया था। कई अवसरों पर अली ने उधमान के साथ हुडुद के आवेदन में असहमत; उन्होंने सार्वजनिक रूप से अबू ध्रर अल-घिफ़ारी के लिए सहानुभूति दिखायी थी और अम्मर इब्न यासीर की रक्षा में दृढ़ता से बात की थी। उन्होंने उथमान को अन्य सहयोगियों की आलोचनाओं के बारे में बताया और उथमान की तरफ से प्रांतीय विरोधियों के साथ वार्ताकार के रूप में कार्य किया जो मदीना आए थे; इस वजह से अली और उथमान के परिवार के बीच कुछ अविश्वास उत्पन्न हुआ प्रतीत होता है। आखिरकार, उन्होंने घेराबंदी की गंभीरता को अपने आग्रह से कम करने की कोशिश की कि उथमान को पानी की अनुमति दी जानी चाहिए। 

इतिहासकारों के बीच अली और उथमान के बीच संबंधों के बारे में विवाद है। हालांकि उथमान के प्रति निष्ठा की प्रतिज्ञा करते हुए, अली अपनी कुछ नीतियों से असहमत थे। विशेष रूप से, उन्होंने धार्मिक कानून के सवाल पर उथमान के साथ संघर्ष किया।उन्होंने जोर देकर कहा कि उबायद अल्लाह इब्न उमर और वालिद इब्न उक्बा जैसे कई मामलों में धार्मिक सजा की जानी चाहिए। तीर्थयात्रा के दौरान 650 में, उन्होंने उथमान से प्रार्थना अनुष्ठान के परिवर्तन के लिए अपमान के साथ सामना किया। जब उथमान ने घोषणा की कि वह जो कुछ भी उसे फीस से ले लेगा, तो अली ने कहा कि उस मामले में खलीफा को मजबूर कर दिया जाएगा। अली ने इब्न मसूद जैसे खलीफा द्वारा मातृत्व से साथी की रक्षा करने का प्रयास किया। इसलिए, कुछ इतिहासकार अली को उथमान के विपक्ष के प्रमुख सदस्यों में से एक मानते हैं, यदि मुख्य नहीं है। लेकिन विल्फेर्ड मैडेलंगइस तथ्य के कारण उनके फैसले को खारिज कर दिया गया कि अली के पास खलीफा के रूप में चुने जाने के लिए कुरैशी का समर्थन नहीं था। उनके अनुसार, इस बात का कोई सबूत नहीं है कि अली के विद्रोहियों के साथ घनिष्ठ संबंध थे जिन्होंने अपने खलीफा का समर्थन किया या उनके कार्यों को निर्देशित किया। कुछ अन्य सूत्रों का कहना है कि अली ने उथमान पर सीधे विरोध किए बिना एक संयम प्रभाव के रूप में कार्य किया था। हालांकि, मदेलंग ने मारवान को बताया कि अली के पोते जैन अल-अबिदीन ने कहा था कि

कोई भी [इस्लामिक कुलीनता के बीच] आपके गुरु की तुलना में हमारे गुरु की तुलना में अधिक समशीतोष्ण था। 

गुण
अली और राशीदून खलीफ़ा
मदीना में प्रवास
भ्रष्टाचार विरोधी अभियान और समतावादी नीतियां