जिमी कार्टर का जन्म जॉर्जिया के प्लेन्स नामक शहर में वाइस क्लीनिक अस्पताल में हुआ था जहाँ उनकी माँ लिलियन कार्टर नर्स थीं। उनके पिता अर्ल कार्टर का खेत था जिसमें वे कपास एवं मूंगफली उगाया करते थे। 1926 में जिमी की छोटी बहन ग्लोरिया, 1929 में रूथ और 1937 में छोटे भाई बिली का जन्म हुआ। 1941 में जिमी ने प्लेन्स हाई स्कूल से दसवीं कक्षा पास की। 1941 में जिमी ने अमेरिकस शहर में स्थित जॉर्जिया साउथवेस्टर्न कॉलेज में पढ़ाई शुरू की। 1942 में उन्होंने यह कॉलेज छोड़ जॉर्जिया इंस्टिट्यूट ऑफ़ टॅकनॉलोजी में दाखिला लिया। 1943 में उन्हें एनापोलिस, मैरीलैंड स्थित यू॰एस नेवल अकैडमी में दाखिला मिल गया और वे 1946 में वहाँ से उत्तीर्ण हुए। उत्तीर्ण होने के पश्चात वे संयुक्त राज्य अमेरिका की नौसेना की पहली परीक्षनात्मक पनडुब्बी में कार्यरत हुए।

जुलाई 7, 1947 को कार्टर ने बहन रूथ की सहेली एलानोर रोज़ालिन स्मिथ से विवाह कर लिया। 1947 में कार्टर के पुत्र जॉन विलियम का जन्म हुआ, 1950 में जेम्स अर्ल III का, 1952 में डॉनल जेफ़्फ़्री का और 1967 में पुत्री एमी लिन का जन्म हुआ।

1953 में जिम्मी के पिता अर्ल की मृत्यु पर जिमी अपनी पत्नी के साथ जॉर्जिया वापिस लौट गए, पिता के खेती के कारोबार को संभालने के लिए।

प्रारम्भिक जीवन
राष्ट्रपति कार्यकाल
कैरियर
राष्ट्रपति कार्यकाल के पश्चात