उस सत्र के बाद जिसमें डारेन बैरी और शेन वार्न ने आईएनजी कप के लिए विक्टोरिया की कप्तानी की थी, विक्टोरिया के चयनकर्ताओं ने व्हाइट को 2003-04 सत्र के लिए कप्तान नियुक्त किया। विक्टोरिया के 152 वर्षों के इतिहास में व्हाइट 20 साल की उम्र में इसके सबसे युवा कप्तान बने। उनके कोच, डेविड हूक्स ने कहा कि "व्हाइट ने काफी कम उम्र में टीम की कप्तानी की अच्छी समझ दिखाई". इस निर्णय को उन रिपोर्टों से समर्थन मिला जिनमें कहा गया था कि अंडर-19 विश्व कप के दौरान उन्होंने "अपनी उम्र से परे स्वभाव, नियंत्रण और परिपक्वता" के साथ टीम की कमान संभाली. 2003-04 सत्र की शुरूआत में जब एक अभ्यास मैच में नियमित कप्तान बैरी की उंगली टूट गई तो व्हाइट को प्रथम श्रेणी टीम की कप्तानी भी सौंपी गई। आईएनजी कप टीम की कप्तानी करते समय एक जीत और एक हार के बाद, पुरा कप में टीम के कप्तान के रूप में उनके पदार्पण में उन्हें मैन ऑफ दी मैच चुना गया, क्वींसलैंड के खिलाफ इस मैच में विक्टोरिया पांच विकेट से जीता और व्हाइट ने इस मैच में छः विकेट लिए। 

व्हाइट ने पहली बार अंतर्राष्ट्रीय क्रिकेट दिसंबर 2003 में खेला। भारत के खिलाफ एक टूर मैच में विक्टोरिया के लिए चार विकेट लेने के बाद, व्हाइट को इसी दौरे पर भारत के खिलाफ ऑस्ट्रेलिया ए के लिए चुना गया। माइकल हसी की कप्तानी वाली इस ऑस्ट्रेलियाई टीम में उनके विक्टोरिया के साथी ब्रेड हॉज भी शामिल थे, इस मैच में नंबर छः पर बल्लेबाजी करते हुए व्हाइट ने भारतीयों पर अधिक प्रभाव नहीं छोड़ सके; उन्होंने अपनी दोनो पारियों में 20 रन बनाए लेकिन कोई विकेट नहीं ले सके। व्हाइट ने जिम्बाब्वे के खिलाफ दो एकदिवसीय मैचों के लिए अपना स्थान ए टीम में बनाए रखा, इसमें उन्होंने दो विकेट लिए।

2003-04 के सत्र में व्हाइट की बल्लेबाजी में उल्लेखनीय सुधार हुआ, लेकिन उनके दाएं पैर के अस्थिबंध में खिंचाव आ गया, इसलिए वहां उनके 2003-04 सत्र का अंत हो गया। वापसी करते हुए उन्होंने अठारह पारियों में पांच अर्द्ध शतक जमाए और इस सत्र में उनका पहली बार 30 से अधिक रहा। उन्होंने अपने करियर में पहली बार एक सत्र में 30 विकेट भी लिए जो एक सत्र में उनका सबसे अच्छा प्रदर्शन है, यद्यपि पिछले सत्र की तुलना में उनका औसत अच्छा नहीं रहा, जो बढ़कर 35 से अधिक हो गया। उनकी कुछ बेहतरीन पारियों ने दिखा दिया की वे क्या कर सकते हैं, पश्चिमी ऑस्ट्रेलिया के खिलाफ 65 बॉलों में 58 रन और दक्षिण ऑस्ट्रेलिया के खिलाफ 7 चौकों और 3 छक्कों की मदद से 97 गेदों में बनाए गए 75 रनों ने उनकी उन क्षमताओं का प्रदर्शन किया जिनकी बदौलत बाद में व्हाइट खेल के छोटे स्वरूप ट्वेंटी-20 में अत्यधिक सफल रहे।

व्हाइट के खेल में हुए सुधार और स्टुअर्ट मैक्गिल की चोट के कारण, उन्हें जिम्बावे के दौरे पर जाने वाली 13 सदस्यीय टेस्ट टीम का हिस्सा बनाया गया। ऑस्ट्रेलिया के चयनकर्ता इस दौरे पर दो स्पिनर ले जाने के लिए उत्सुक थे और मैक्गिल की चोट के कारण "भविष्य को देखते हुए" उन्होंने व्हाइट का चयन किया। जिम्बाब्वे ए के खिलाफ एक अभ्यास मैच में व्हाइट ने एक विकेट लिया, लेकिन इस दौरे में वह टेस्ट मैचों का पदार्पण नहीं कर पाए क्योंकि जिम्बाब्वे क्रिकेट बोर्ड और उनके बागी खिलाड़ियों के बीच विवाद के चलते इस दौरे को रद्द कर दिया गया। व्हाइट मानते हैं कि इस निर्णय की वजह से उन्होंने यह देखने का अवसर गवां दिया कि "सब कुछ कैसे होता है और अंतर्राष्ट्रीय टेस्ट मैच कैसे खेला जाता है".

2003-04 के सत्र में पुरा कप की जीत में वे छाए रहे, इसमें फाइनल में क्विंसलैंड के खिलाफ 321 रन की जीत भी शामिल है जिसमें व्हाइट ने एक अर्द्ध शतक जमाया और पांच विकेट लिए। इस जीत के बाद विक्टोरिया के कप्तान बैरी ने पेशेवर क्रिकेट से सन्यास ले लिया और उनकी जगह 2004-05 में व्हाइट को टीम का कप्तान बनाया गया। व्हाइट अपनी नियुक्ति से खुश थे, उन्होंने कहा कि कप्तानी "मेरा सर्वश्रेष्ठ खेल बाहर लाती है और अतिरिक्त जिम्मेदारी मेरे लिए अच्छी है". दिसंबर 2004 में, व्हाइट ने अपना पहला प्रथम श्रेणी शतक बनाया, उन्होंने 119 रन बनाए जब क्वींसलैंड ने विक्टोरिया को फॉलोऑन खेलने के लिए मजबूर कर दिया। विक्टोरिया के लिए सातवें विकेट के लिए इयान हार्वे के साथ उनकी 205 रन की रिकॉर्ड साझेदारी और सलामी बल्लेबाज जेसन अर्नबर्गर के 152 रन की मदद से विक्टोरिया अपनी दूसरी पारी 508/8 पर घोषित करने में सफल रहा। अच्छे गेंदबाजी प्रदर्शन के दम पर क्वींसलैंड को केवल 169 रन पर आउट कर विक्टोरिया ने "शानदार वापसी" की। 

सबसे युवा कप्तान
अंतर्राष्ट्रीय पटल पर
अंतर्राष्ट्रीय सफलता
भारतीय प्रीमियर लीग