मोदी ने 1987 में जेसी जॉर्ज से शादी की। जेस्सी जॉर्ज मुंबई से हैं। इस दंपती के दो बेट हैं - उत्कर्ष ताथगेट (इंजीनियरिंग क्षेत्र में काम) और अक्षय अमृतांशु (जो कानूनी क्षेत्र में काम करते हैं)। तथगेट ने बंगलौर में इंजीनियरिंग पूरी की, जबकि अक्षय ने राष्ट्रीय कानून संस्थान विश्वविद्यालय, भोपाल में कानून पूरा किया। बंगलौर की एक मल्टीनेशनल कंपनी में काम करने वाले उत्कर्ष का विवाह कोलकाता की एक लड़की (चार्टर्ड अकाउंटेंट) से तय हुई है। यह शादी 3 दिसंबर 2017 को पटना से हुई।

राष्ट्रीय स्वयंसेवक संघ के साथ
शुरुआती जीवन
राजनीतिक कैरियर
व्यक्तिगत जीवन