ली, धातुशोधन करनेवाले बॉब और पियानो शिक्षिका हेलेन (उर्फ़ बक्सटन) के तीन बेटों में दूसरे स्थान पर हैं। उनके दो भाई हैं, जिनमें बड़े हैं पूर्व ऑस्ट्रेलियाई ऑल राउंडर और न्यू साउथ वेल्स ब्लूस के कप्तान शेन ली. उनके छोटे भाई ग्रैंट ने न्यू साउथ वेल्स के लिए अंडर-19 स्तर पर क्रिकेट खेला था और अब एक लेखाकार हैं। ली ने बालारंग पब्लिक स्कूल और ओक फ़्लैट्स हाई स्कूल में पढ़ाई की, जिसने बाद में उनके सम्मान में अपने क्रिकेट मैदान का नाम रखा। उनका उपनाम 'बिंग', न्यू साउथ वेल्स में इलेक्ट्रॉनिक सामान की एक श्रृंखला के नाम पर 'बिंग ली' का हवाला देती है।

भाइयों को फ़ुटबॉल, बास्केटबॉल और स्कीइंग में मज़ा आया और उनकी मां ने उन्हें पियानो बजाने के लिए प्रोत्साहित किया (ग्रैंट एक योग्य पियानोवादक हैं)। आठ साल की उम्र में उनके भाई शेन ने क्रिकेट के खेल से ब्रेट का परिचय करवाया. उन्होंने क्रिकेट का अपना पहला औपचारिक खेल "ओक फ़्लैट्स रैट्स" के लिए खेला, जहां उन्होंने एक ओवर में 6/0 विकेट लिए या 0 रन पर 6 विकेट, जिनमें सभी विकेट बोल्ड थे। 
सोलह साल की उम्र में ली, कैम्पबेलटाउन के लिए प्रथम श्रेणी का क्रिकेट खेलने लगे, जहां उन्हें न्यू साउथ वेल्स के कुछ क्रिकेट खिलाड़ियों के विकेट लेने में सफलता मिली। बाद में वे मॉसमैन में शामिल हुए, जहां एक बिंदु पर, उन्होंने शोएब अख़्तर के साथ नई गेंद साझा की। वे अभी भी सिडनी के वर्तमान निचले उत्तरी किनारे पर लेन कोव उपनगर में रहते हैं।

ली ने ऑस्ट्रेलियाई अंडर 17 और 19 टीमों के लिए भी खेला और ऑस्ट्रेलियाई क्रिकेट अकादमी में भाग लेने के लिए छात्रवृत्ति से सम्मानित किए गए।

मार्च 1994 में, ली को उनके पीठ के निचले हिस्से में तनाव भंग के कारण भारत दौरे के लिए ऑस्ट्रेलियाई अंडर 19 से मजबूरन बाहर होना पड़ा. वे स्वस्थ हो गए और 1997-98 सीज़न में 20 वर्षीय युवक के रूप में शेफ़ील्ड शील्ड मैच में पश्चिमी ऑस्ट्रेलिया के खिलाफ़ न्यू साउथ वेल्स के लिए प्रथम श्रेणी के खेल में शुरूआत की, जहां एक मैच खेला और 3/114 बनाया। 

एक महीने के बाद, ली को दक्षिण अफ्रीका के दौरे पर ऑस्ट्रेलियाई टीम का प्रतिनिधित्व करने के लिए चुना गया। उन्होंने दो विकेट लिए, लेकिन उसी मैच में, उनके पिछले घाव से पीठ में दुबारा तनाव भंग हुआ और ली को पीठ पर तीन महीनों के लिए पट्टी बांधनी पड़ी. जब वे इक्कीस साल के हुए, ली कार्य-स्थल के क़रीब रहने के लिए सिडनी में स्थानांतरित हो गए।

1997-98 सीज़न के दौरान उन्होंने दस शेफ़ील्ड शील्ड गेम में से पांच में खेले और 30 रनों पर चौदह विकेट लिए। विकेट लेने की सूची और गेंदबाज़ी औसत, दोनों में वे शीर्ष 20 से बाहर रहे। 

1999 में पर्थ में एक शेफ़ील्ड शील्ड मैच के दौरान, 1970 दशक के जेफ़ थॉमसन के समय में देखी गई तेज़ गेंदबाज़ी की तुलना में, ली ने पश्चिमी ऑस्ट्रेलियाई बल्लेबाज़ों के खिलाफ़ उतनी ही अच्छी तेज़ गेंदबाज़ी की। उस बिंदु से, ऑस्ट्रेलियाई कप्तान स्टीव वॉघ और तब के उप कप्तान शेन वार्न, टेस्ट टीम में ली को शामिल करने के लिए ज़ोर देने लगे।

एक-दिवसीय अंतर्राष्ट्रीय मैच
आक्रामक गेंदबाज़ी के अगुआ
क्रिकेट विश्व कप 2003
बचपन और शुरूआती कॅरियर