अब फिर से ख़लीफा का पद खाली था और इस्लामी साम्राज्य बड़ा हो रहा था। मुसलमानों को हज़रत अली के अलावा कोई न दिखा पर अली खलीफ़ा बनने को न माने। कइ दिन शुरा के लोग खलीफा के पद को न भर सके। अन्त में अली को विवश किया गया तो आप ने कहा कि मेरे खिलाफत में "इलाही निजाम" (ईश्वर शासन) चलेगा। उन्हें चौथा खलीफ़ा नियुक्त किया गया। अली अपने इन्साफ़ के लिये मशहूर थे ,अली के खलीफा बनने पर पूर्व खलीफा उस्मान के कातिलो का बदला लेने और उनको सजा देने की मांग उठने लगी लेकिन वख्त और मुसलमानों के हालात देख कर अली ने उस वख्त कोई कदम नहीं उठाया पर उस्मान के समर्थक लोगो को ये न रास आया तो उन्होंने उस्मान के कातिलो को सजा दिलवाने के फौज़ इक्क्ठी की। असल में ये फौज शाम के शासक माविया के भड़काने पर एकत्र हुए थी क्योंकि उस्मान के पश्चात वो खलीफा का अपने अपने लिए चाहता था, पर मुसलमानों का बहुमत उसके विपक्ष और अली के पक्ष में था ! अली ने कहा उस्मान के कतिलो को सजा जरुर मिलेगी, पर जब अली को इस फौज के असली मकसद का पता चला, जो बिना अली की आज्ञा के अवैध रूप से और अली को पद से हटाने के लिए एकत्र हुए थी, तो अली ने इन्हें मदीने से पहले ही रोक दिया, यहीं पर जमल नामक जंग हुई, और विद्रोही बुरी तरह हर गए ! मुआविया सीरिया वापस भाग गया और पैग़म्बर की पत्नी आयेशा को अली ने अपनी रक्षा में ले लिया ! कुछ समय बाद सीरिया के सूबेदार मुआविया ने फिर अली का विरोध किया। मुआविया तीसरे खलीफ़ा उस्मान का रिश्तेदार था, और उसी हजरत उस्मान के कतिलो के सजा की मांग से सिफ्फीन में जंग हुई जिसमेंख़्वारेज नामक फ़ितने का जन्म हुआऔर लड़ाई जितने के बावजूद विद्रोह की वजह से अली को काफी दुःख हुआ और वो वापस कूफ़ा चले गए !मुआविया बार बार अली से उलझता रहा और उनके शासित प्रदेशों में लूट मार करता रहा ! सन् ६६१ में कूफ़ा में एक मस्जिद में इमाम अली को धोके से शहीद कर दिया गया। इसके बाद मुआविया ने अपने को इस्लाम का ख़लीफ़ा घोषित कर दिया, जबकि मदीने के और अली के समर्थकों ने अली के ज्येष्ठ पुत्र हसनबिन अली के हाथ पर बैयत की और उन्हें खलीफा बनाया ! हसन पैग़म्बर के सीधे वंशज थे !

शिया सम्प्रदाय के विभाग
खलीफा अली और परवर्ती विवाद
उस्मान की ख़िलाफ़त
शिया सुन्नी विवाद