ली ने कोहनी की चोट से उबरने के बाद, 2001 इंग्लैंड के एशेज़ दौरे पर अंतर्राष्ट्रीय टीम में वापसी की। शुरूआत की तुलना में उनकी वापसी ने कम सफलता देखी, जब 55.11 पर वे पांच टेस्ट मैचों में सिर्फ़ नौ विकेट ले पाए. बहरहाल, बाद में उसी वर्ष न्यूज़ीलैंड के खिलाफ़ पहले और तीसरे टेस्ट में ली ने ऑस्ट्रेलिया के प्रमुख विकेट लेने वाले गेंदबाज़ के रूप में वापसी की, जिस श्रृंखला में उन्होंने दूसरी पारी में 5 विकेट लिए और पहले टेस्ट मैच में बल्ले के साथ 61 का योगदान दिया। श्रृंखला 0-0 की बराबरी पर समाप्त हुई। उन्होंने 25.14 पर 14 विकेट के साथ सीरिज़ का समापन किया। दक्षिण अफ्रीका के खिलाफ़ घर और बाहर की दो श्रृंखलाएं उतनी उत्पादक नहीं थीं, जहां 38.42 पर छह टेस्ट मैचों में 19 विकेट ही हासिल हुए.

ली ने न्यूज़ीलैंड श्रृंखला और 2003 क्रिकेट विश्व कप के बीच केवल तीन अवसरों पर एक मैच में पांच विकेट लिए। ली ने 2002 में पाकिस्तान के खिलाफ़ तीन टेस्ट मैच सीरिज़ में 46.50 पर केवल पांच विकेट लेने के बाद, अपनी जगह के लिए दबाव में आ गए। एंडी बिचेल ने, जो घायल जेसन गिलेस्पी की जगह भर रहे थे, 13.25 पर आठ विकेट लिए। अन्य प्रमुख गेंदबाजों द्वारा 13 से कम पर विकेट लेने की वजह से, ली को हटा दिया गया, जब 2002-03 एशेज़ श्रृंखला के दौरान गिलेस्पी पहले दो टेस्ट के लिए लौट आए। उन्होंने न्यू साउथ वेल्स के लिए क्वींसलैंड के खिलाफ़ एक पुरा कप के लिए मैच में पांच विकेट लेने के बाद पर्थ टेस्ट में वापसी की। उन्होंने तीन मैचों में 41.23 पर तेरह विकेट लिए, जब कि बिचेल ने 35.1 पर दस. 2003 क्रिकेट विश्व कप के बाद ली ने वेस्ट इंडीज़ के खिलाफ़ चार टेस्ट मैचों में 28.88 पर 17 विकेट लिए। यह दो साल में पहली श्रृंखला थी, जहां उनका औसत 30 से कम था और उस अवधि में दूसरा जब उनका औसत 40 से नीचे रहा।

वर्ष के मध्य में विश्राम के बाद उन्होंने उत्तरी ऑस्ट्रेलिया में बांग्लादेश के खिलाफ़ दो टेस्ट श्रृंखला में भाग लिया। उन्होंने 31.66 पर छह विकेट लिए और ऑस्ट्रेलिया के सबसे महंगे गेंदबाज बने, जब कि अन्य विशेषज्ञ गेंदबाज़, टेस्ट क्रिकेट में सबसे कम रैंक की टीम के खिलाफ़, औसत 15.55 पर रहे। उन्होंने जिम्बाब्वे के खिलाफ़ आरामदायक 2-0 की टेस्ट श्रृंखला में 37 पर छह विकेट लिए, जिसमें अन्य विशेषज्ञ गेंदबाजों का औसत 23.15 रहा। 

2003-04 घरेलू श्रृंखला में भारतीय बल्लेबाज़ी लाइन-अप के खिलाफ़, जो ऑस्ट्रेलिया के लिए 1-1 ड्रा में समाप्त हुआ, ली जिम्बाब्वे श्रृंखला के दौरान लगने वाली चोट से फटी पेट की मांसपेशियों से उबरते हुए, पहले दो टेस्ट से बाहर रहे। उस चरण पर, ली ने आंशिक रूप से 'पीछे के टखनों के टकराव' का आंशिक रूप से इलाज करवाने के लिए शल्य चिकित्सा, जो एक ऐसी स्थिति थी जिसे ली जिम्बाब्वे के खिलाफ़ टेस्ट सीरिज़ से पहले से ही भुगत रहे थे और साथ ही फटी हुई पेट की मांसपेशियों में सुधार के लिए सर्जरी कराने का निर्णय लिया, लेकिन ली अपने टखने की चोट से पूरी तरह उबर नहीं पाए और अंततः श्रीलंका के खिलाफ़ घायल हो गए। यह इसलिए किया गया कि दोनों चोटों में स्वास्थ्य लाभ साथ-साथ हो सके।

टेस्ट में जगह खोना
प्रारंभिक टेस्ट कॅरियर
चोट से वापसी
बल्लेबाज़ी