28 मार्च 1996 को, जोली ने अपनी फ़िल्म "हैकर" (1995) के सह-कलाकार ब्रिटिश अभिनेता जॉनी ली मिलर से शादी की। उन्होंने अपने विवाह में रबर का काला पैंट और सफ़ेद शर्ट पहन रखी थी, जिस पर अपने ख़ून से उन्होंने दूल्हे का नाम लिखा था। अगले साल जोली और मिलर में संबंध विच्छेद हो गया और बाद में 3 फ़रवरी 1999 को तलाक़ हुआ। उनके बीच बाद में भी संबंध अच्छे रहे, जिसके बारे में जोली ने स्पष्टीकरण दिया कि "यह बस समय की बात थी। मुझे लगता है कि वे बहुत ही अच्छे एक ऐसे पति हैं, जैसा हर लड़की चाहती है। मैं उनसे हमेशा प्यार करती रहूंगी, हम बस युवा थे।"

"पुशिंग टिन" (1999) की शूटिंग के दौरान वे अमेरिकी अभिनेता बिली बॉब थार्नटन से मिलीं और बाद में 5 मई 2000 को उनसे शादी कर ली। अपने जुनून और प्यार के संकेतों की अक्सर सार्वजनिक घोषणा की वजह से - जिनमें सर्वाधिक मशहूर है अपने गले में एक दूसरे के ख़ून की शीशियों को लटकाए घूमना - उनका रिश्ता मनोरंजन मीडिया का पसंदीदा विषय बन गया। जोली और थार्नटन के बीच 27 मई 2003 को तलाक हुआ। उनकी शादी के अचानक भंग करने के बारे में पूछे जाने पर जोली ने कहा, "मुझे भी इसने चौंका दिया, क्योंकि रातों रात हम पूरी तरह बदल चुके थे। मुझे लगता है कि अचानक एक दिन हम में कुछ भी आम नहीं था। और यह डरावना है, लेकिन ... मुझे लगता है कि ऐसा हो सकता है कि जब किसी और में आपकी दिलचस्पी बढ़ रही हो और आप खुद अभी इस बात को नहीं जानते."

जोली ने साक्षात्कार में कहा है कि वह उभयलिंगी है और लंबे समय पहले ही स्वीकार किया है कि उनके और "फ़ॉक्सफ़ायर" (1996) की सह अभिनेत्री जेनी शिमिज़ु के बीच लैंगिक संबंध थे, "मैं शायद जेनी के साथ शादी कर लेती, यदि मैंने अपने पति से शादी नहीं की होती तो. जिस पल मेरी नज़र उस पर पड़ी, उसी पल मुझे उससे प्यार हो गया था।" 2003 में जब उनसे पूछा गया कि क्या वे उभयलिंगी हैं, तो जोली ने कहा, "बेशक. अगर कल मुझे किसी महिला से प्यार हो जाए, तो क्या मुझे उसका चुंबन लेना और उसे छूना ठीक लगेगा? अगर मुझे उसके साथ प्यार हो जाए? बिल्कुल! हां!

2005 की शुरूआत में, जोली एक बेहद प्रचारित हॉलीवुड लोकापवाद में शामिल हुईं, जब उन पर अभिनेता ब्रैड पिट और जेनिफर एनिस्टन के बीच तलाक का कारण बनने का आरोप लगाया गया था। आरोप था कि उनके और पिट के बीच "मिस्टर एंड मिसेज़ स्मिथ" (2005) के फ़िल्मांकन के दौरान प्रेम-संबंध शुरू हुआ था। उन्होंने कई अवसरों पर इसका खंडन किया, लेकिन स्वीकार किया कि उनके बीच सेट पर "प्यार हो गया" था। 2005 के एक साक्षात्कार में उन्होंने बताया, "एक शादीशुदा आदमी के साथ नज़दीकियां, जब मेरे अपने पिता ने मेरी मां के साथ धोखा दिया, कुछ ऐसी बात है, जिसे मैं खुद माफ़ नहीं कर सकती हूं. सुबह मैं खुद अपनी सूरत नहीं देख पाती, यदि मैंने वह किया। मैं एक ऐसे आदमी के प्रति आकर्षित नहीं हो सकती, जो अपनी पत्नी को धोखा देता है।"

जहां जोली और पिट ने अपने रिश्ते की प्रकृति पर सार्वजनिक तौर पर कोई टिप्पणी नहीं कीं, वहीं 2005 के दौरान अटकलबाजियां जारी रहीं। पहली अंतरंग फ़ोटो पत्रकार तस्वीरें अप्रैल में उभरीं, एनिस्टन द्वारा तलाक़ के लिए अर्जी दायर करने के एक महीने बाद; जिसमें पिट और जोली, उनके बेटे मैडक्स के साथ केन्या में समुद्र तट पर दिखे। गर्मियों के दौरान जोली और पिट बारंबार एक साथ देखे जाने लगे और मनोरंजन मीडिया ने उन्हें एक युगल जोड़ी माना और उन्हें नाम दिया "ब्रैंजलिना". 11 जनवरी 2006 को, जोली ने "पीपल" में पुष्टि की कि वे पिट के बच्चे की मां बनने वाली हैं और इस तरह पहली बार सार्वजनिक रूप से अपने संबंध की पुष्टि की। 

रिश्ते
बच्चे
सफलता, 1997-2000
मानवीय कार्य