तीन साल के अंतराल के बाद, 28 मार्च 2005 में उनका एकल 'इन्कम्प्लीट' रेडियो स्टेशन पर रिलीज़ किया गया। इस एल्बम का नाम एल्बम के ही एक गाने के नाम पर रखा गया था, जो केविन रिचर्डसन के पिता की मृत्यु के शोक का गीत है। दल की शैली में प्रबल बदलाव को, "रोलिंग स्टोन" जैसी कुछ पत्रिकाओं से नकारात्मक व तीखी समालोचना का सामना करना पड़ा, जिसने इस एल्बम को सिर्फ एक तारा दिया.

14 जून 2005 को, बैकस्ट्रीट बॉयज़ ने अपनी वापसी का एल्बम "'नेवर गॉन" ' रिलीज़ की, जिसकी रिकॉर्डिंग में एक वर्ष से भी ज्यादा का समय लगा था। एल्बम ने पहले हफ्ते में 291,000 प्रतियों की बिक्री के साथ अमेरिकी चार्ट में #3 के स्थान पर, जबकि जापान, बंगलादेश, पाकिस्तान, जर्मनी, भारत, चिली, ब्राज़ील एवं दक्षिण कोरिया में #1 पर अपना खाता खोला. उसी वर्ष, ब्रायन लिट्रेल का गाना 'इन क्राइस्ट अलोन' अमेरिकी ईसाई चार्ट पर #1 के स्थान पर आया। बैकस्ट्रीट बॉयज़ ने जुलाई में 'द नेवर गॉन टूर' का अपना पहला दौरा फ्लोरिडा के वेस्ट पाम बीच से शुरू किया। यह उनकी पहली ऑस्ट्रेलियाई यात्रा थी।

अमेरिका में "नेवर गॉन" को प्लेटिनम प्रमाणित किया गया एवं एल्बम से चार एकल रिलीज़ किये गए। अमेरिका के लिए पहला एकल 'इन्कम्प्लीट', दूसरा 'जस्ट वांट यू टू नो' एवं तीसरा 'क्रॉलिंग बैक टु यू' तथा बाकी सभी देशों के लिए 'आई स्टिल'... था। "नेवर गॉन" की दुनिया भर में लगभग 10 मिलियन प्रतियां बिकीं.
बैकस्ट्रीट बॉयज़ के दूसरे एकल 'जस्ट वांट यू टू नो' ने ब्रिटेन में टॉप 10 गानों में अपनी जगह बना ली, लेकिन अमेरिका में वह उतना सफल नहीं हो पाया। यह अब तक का, दल के सबसे कमज़ोर प्रदर्शनों में से एक था, जो बिलबोर्ड हॉट 100 चार्ट पर केवल #70 के स्थान तक ही पहुंच पाया। तीसरे अंतर्राष्ट्रीय एकल 'आई स्टिल..' ने जापान के अंतर्राष्ट्रीय एकल चार्ट पर #1 पर अपना खाता खोला. तीसरे अमेरिकी एकल, 'क्रॉलिंग बैक टु यू' बिलबोर्ड एडल्ट कंटेम्पोररी चार्ट पर #15 पर पहुंचा। 

जून 2006 में, रिचर्डसन ने अपनी दूसरी रुचियों पर ध्यान देने एवं जीवन के अन्य अध्यायों के साथ आगे बढ़ने के लिए बैकस्ट्रीट बॉयज़ को छोड़ दिया. 23 जून 2006 में उन्होंने बैंड के वेबसाइट पर निम्नलिखित बयान जारी किया:
"ब्लैक एंड ब्लू" : 2000-2001
"नेवर गॉन" एवं केविन का प्रस्थान: 2005-2006
"दिस इज़ अस" : 2009-वर्तमान
बैंड का इतिहास