सेल्टिक में रहने के समय, कीन को भूतपूर्व सेल्टिक खिलाड़ी चार्ली निकोलस द्वारा गोर्डन स्ट्राचन के भावी मैनेजरीय उत्तराधिकारी बनाने की सलाह दी गई। लेकिन, कीन ने चैम्पियनशिप क्लब सुंदरलैंड को अपने मैनेजरीय कैरियर को शुरू करने के लिये चुना, जहां उसका क्लब के अध्यक्ष और अवकाश ले रहे मैनेजर नियाल क्विन से पुनर्मिलन हुआ। दोनों व्यक्ति, कम से कम जनता के सामने, सैपान की घटना के परिणाम स्वरूप एक दुसरे के विरूद्ध खेमे में थे, लेकिन मैनेजरीय पदग्रहण के समय उनका बर्ताव अच्छा था और क्विन ने सुंदरलैंड के प्रशंसकों से "फुटबाल के सच्चे महान खिलाड़ियों में से एक का समर्थन और आनंद लेने के लिये कहा."

किन के कार्यकारी प्रबंधन में लगातार चार भयंकर पराजयों के बाद, सुंदरलैंड की वेस्ट ब्रामविच अल्बियान पर जीत के तुरंत पश्चात, जो 2006-07 के सत्र में मैकेन्स की पहली जीत थी, 28 अगस्त को कीन ने एक तीन वर्षीय अनुबंध पर हस्ताक्षर किये. चूंकि उसका नया क्लब पहले से ही चैम्पियनशिप टेबल के नीचे से दूसरी स्थिति पर और निर्वासन क्षेत्र में आ चुका था, कीन ने तेजी से बदलाव लाने का निश्चय किया। मैनेजर के रूप में उसके पहला काम वर्तमान सहायक मैनेजर बॉबी सैक्सटन को बनाए रखने और नॉटिंघम फारेस्ट में उसके भूतपूर्व साथी टोनी लाफ्लान को मुख्य कोच का पद देने का निश्चय करना था। उसने दल में नए लोगों को लाने में जरा भी देर नहीं की, और अगस्त स्थानांतरण काल के अंतिम दिन छह खिलाड़ियों ने हस्ताक्षर किये. सबसे मुख्य हस्ताक्षर करने वालों में कीन के मैन्चेस्टर युनाइटेड टीम के भूतपूर्व साथी ड्वाइट योर्क और लियाम मिलर थे, जिनकी मदद कर रहे थे, सेल्टिक के भूतपूर्व साथी रॉस वालेस और स्टैनिस्लाव वार्गा,
तथा वाइगान का एथलीट जोड़ा, ग्राहम कावानाघ और डेविड कोनोली.

मैनेजर के रूप में कीन के पहले दो खेल इससे बेहतर नहीं हो सकते थे; पहले में पीछे से लौटकर डर्बी काउंटी को 2-1 से हराया, जिसके बाद लीड्स युनाइटेड पर 3-0 की आसान विजय हासिल की. कीन के प्रबंधन में सुंदरलैंड धीरे-धीरे लीग की सूची में ऊपर चढ़ने लगा, और वर्ष के समाप्त होने तक वे लीग के निचले आधे भाग से बाहर निकल चुके थे। जनवरी 2007 के स्थानांतरण काल में पांच और खिलाड़ियों के साथ हस्ताक्षर किये गए, तीन (एंथोनी सेटोक्स, कार्लास एडवर्ड्स और स्टेम जॉन) स्थायी अनुबंधों पर और दो (जॉनी इवांस और डैनी सिम्पसन) कीन के पुराने क्लब मैन्चेस्टर युनाइटेड से उधार पर. परिणाम लगातार सुधरते ही गए और कीन को फरवरी और मार्च के महीने के मैनेजर के रूप में पुरस्कृत किया गया, जब उसकी टीम ने स्वचालित प्रोत्साहन स्थानों के लिये चुनौती करना शुरू कर दिया था। तभी कीन ने उसके खिलाड़ियों के अपेशेवर तौर-तरीकों से दृढ़ता से निपटा. मार्च 2007 में जब बाम्स्ले की यात्रा के लिये टीम के कोच तक पहुंचने में तीन खिलाड़ियों ने देर की तो वह उन्हें पीछे छोड़ कर निकल गया।

सुंदरलैंड ने प्रीमियर लीग में बर्मिंघम शहर के साथ 29 अप्रैल को प्रोत्साहन पा लिया जब प्रतिस्पर्धी डर्बी काउंटी क्रिस्टल पैलेस से हार गए। एक सप्ताह बाद, कोका कोला चैम्पियनशिप खिताब पक्का कर लिया गया और कीन की देखरेख में सुंदरलैंड का पुनरूत्थान पूरा हो गया। उसकी उपलब्धियों ने उसे चैम्पियनशिप "मैनेजर ऑफ द इयर" का पुरस्कार भी दिलवाया. कीन की और बड़ी महत्वाकांक्षाओं का एक चिन्ह प्रोत्साहन को मनाने के लिये शहर में ऊपर से खुली बस की परेड न करने का निश्चय था।

कुछ लोग कहते हैं कि सुंदरलैंड का प्रीमियर लीग में 2007-08 सत्र चोटों और उनके विरूद्ध गए रेफरियों के निर्णयों, दोनों के कारण बदकिस्मती से भरा था। लेकिन कई पंडितों नें कीन के प्रबंधन में उनके लड़ने के जीवट की सराहना की और उनके अनुजीवन के लिये उनका समर्थन किया। उनके सत्र का सबसे बुरा क्षण गुडीसन पार्क में तब आया जब वे एवर्टन से 7-1 से हार गए, जिसे कीन ने उसके कैरियर के सबसे बुरे क्षणों में से एक बताया. लेकिन सत्र के द्वितीयार्ध में टीम के खेल में (खास कर घर पर) काफी सुधार आया और डिवीजन में दो खेलों के रहते, मिडिलबरो के विरूद्ध घर में हुई एक जीत के बाद उनका बचना निश्चित हो गया। इसके साथ ही कीन ने, काइरन रिचर्डसन, पॉल मैकशेन, डैनी हिग्गिनबाथम और पिल बार्ड्सले सहित भूतपूर्व मैन्चेस्टर खिलाड़ियों को खरीदने का अपना ढर्रा चालू रखा. लियाम मिलर (सुंदरलैंड के अधिक नियमित खिलाड़ियों में से एक) को प्रशिक्षण और अन्य टीम की सभाओं में नियमित रूप से देर से आने के लिये अंतरण सूची में रख कर उसने अपनी कड़ी अनुशासन नीति भी चालू रखी.

2008-09 के सत्र का प्रारंभ कोलाहलपूर्ण सिद्ध हुआ। सितम्बर 2008 में कीन फीफा के उपाध्यक्ष जैक वार्नर के साथ ट्रिनिडाड और टोबेगो की राष्ट्रीय टीम से ड्वाइट यार्क को वापस लेने के लिये एक कलह में उलझ गया। वार्नर ने कीन पर छोटे देशों की इज्जत न करने का आरोप लगाया. कीन ने जवाब में वार्नर को "एक मसखरा" कह कर बुलाया और जोर दिया कि यॉर्क अंतर्राष्ट्रीय फुटबाल से रिटायर हो चुका था। उसी महीने कीन ने उसके कैरियर की सबसे बुरी और लंबी रातों में से एक का अनुभव किया जब सुंदरलैंड को घर पर नॉर्थैम्पटन के विरूद्ध एक लीग कप के खेल में 2-0 से पिछड़कर वापस आना पड़ा. सुंदरलैंड पेनल्टियों के बलबूते पर कठिनाई से आगे बढ़ पाया और वह खेल 2-2 पर समाप्त हुआ।

कुछ सकारात्मक प्रदर्शनों के बावजूद जिसमें 25 अक्टूबर की स्थानीय प्रतिद्वंदियों न्यूकैसल युनाइटेड के विरूद्ध ऐतिहासिक 2-1 की घरेलू विजय और हाल में ही हस्ताक्षरित जिब्रिल सिस और एंटन फर्डिनांड के अच्छे प्रदर्शन शामिल थे, टीम की आम स्थिति अस्थिर ही रही. नवम्बर के अंत तक, सुंदरलैंड प्रीमियर लीग में, अपने पिछले छह में से पांच खेलों में हार कर, 18 वें स्थान पर थे। पिछले सप्ताहांत में बोल्टन से घर पर 4-1 से हारने के बाद स्वयं अपने भविष्य के बारे में संदेह होने का वक्तव्य देकर कीन ने 4 दिसम्बर को मैनेजर का पद त्याग दिया.

21 फ़रवरी 2009 को आयरिश टाइम्स के साथ एक साक्षात्कार में कीन ने सुंदरलैंड के 30% के भागीदार एलिस शार्ट के साथ भिन्नताओं व क्लब के अध्यक्ष नियाल क्विन के साथ तनावपूर्ण संबंधों को सुंदरलैंड के मैनेजर पद से अपने इस्तीफे के निर्णय का कारण बताया.

सुंदरलैंड
सेल्टिक
मैन्चेस्टर युनाइटेड
नॉटिंघम फारेस्ट