उनकी पहली पत्नी मीरटा डाएज बलार्ट, जिनसे उन्होंने 11 अक्टूबर 1948 को शादी की थी, से फिदेल कास्त्रो के एक बेटे फिदेल एंजेल "फिदेलीटो" कास्त्रो दायेज़ बलार्ट का जन्म 1 सितंबर 1949 को हुआ था। 1955 में डाएज बलार्ट और कास्त्रो का तलाक हो गया और उन्होंने एमिलियो नुनेज ब्लांको से दोबारा शादी की। मैड्रिड में कुछ दिन बिताने के बाद बताया जाता है कि डाएज "फिदेलीटो" और अपने परिवार के साथ रहने के लिए हवाना लौट आयीं। फिदेलीटो क्यूबा में बड़े हुए. कुछ समय तक वे परमाणु ऊर्जा आयोग को चलाते रहे, जब तक कि उनके पिता ने उन्हें वहां से हटा नहीं दिया। डाएज बलार्ट के दो भतीजे, लिंकन डाएज बलार्ट और मारियो डाएज बलार्ट अमेरिकी कांग्रेस में रिपब्लिकन पार्टी से हैं और कास्त्रो सरकार के मुखर आलोचक हैं।

फिदेल कास्त्रो की दूसरी पत्नी डालिया सोटों डेल वाल्ले से उनके पांच बेटे हैं, जिनके नाम - एंटोनियो, ऐलेकजैंड्रो, अलेक्सिस, अलेक्जेंडर "एलेक्स" और एंजेल कास्त्रो सोटों डेल वाल्ले हैं।

फिदेल ने जब मीरटा से शादी की थी, तब उनका प्रेम संबंध नतालिया "नैटी " रेवुएल्टा क्लेवस से था, जिनका जन्म 1925 में हवाना में हुआ था और बाद में उन्होंने ऑरलैंडो फर्नांडीज से शादी की। उनकी एक बेटी ए़लिना फर्नांडीज रेवुएल्टा है। 1993 में ए़लिना ने एक स्पैनिश पर्यटक के छद्मवेश में क्यूबा छोड़ दिया और संयुक्त राज्य अमेरिका में शरण ली। वे अपने पिता की नीतियों की मुखर आलोचक रही है।

एक बेनाम महिला से उनका एक और बेटा हुआ, जिसका नाम जॉर्ज एंजिल कास्त्रो है।

उनकी बहन ज्ञुअनिटा कास्त्रो 1960 के दशक के शुरुआत से संयुक्त राज्य अमेरिका में रह रहीं हैं। अपने प्रवास के दौरान उन्होंने कहा, "मेरे अपने देश में जो कुछ चल रहा है उससे मैं अब उदासीन नहीं रह सकती हूं. मेरे भाई फिदेल और राउल ने इसे पानी से घिरा हुआ जेल बना दिया है। लोगों पर अंतरराष्ट्रीय साम्यवाद थोप दिया गया है, यह एक यंत्रणा हैं।"

सोवियत संघ
सम्पत्ति बनाने का आरोप
परिवार
नई सरकार