ज़ूमा ने बहुत कम उम्र में राजनीति से नाता जोड़ लिया था और 1959 में वे अफ्रीकी राष्ट्रीय कांग्रेस में शामिल हो गए। 1961 में ANC पर प्रतिबंध लगने के बाद, वे 1962 में उम्खोंटो वे सिज़्वे के एक सक्रिय सदस्य बन गए। 1963 में वे दक्षिणी अफ्रीकी कम्युनिस्ट पार्टी (SACP) में शामिल हो गए। 1963 में, वे 45 रंगरूटों के एक समूह के साथ पश्चिमी ट्रांसवाल में जीरस्त के निकट गिरफ्तार कर लिए गए जो वर्तमान में उत्तर पश्चिम प्रांत का हिस्सा है। उन्हें गोरे अल्पसंख्यकों के नेतृत्व वाली रंगभेदी सरकार को अपदस्थ करने की साजिश रचने का अपराधी पाया गया और उन्हें 10 वर्ष की कैद की सज़ा मिली, जिसे उन्होंने रोबन द्वीप पर नेल्सन मंडेला और ANC के अन्य उल्लेखनीय सजायाफ्ता नेताओं के साथ काटा.

अपनी रिहाई के बाद, नेटाल प्रांत में ANC बुनियादी संरचनाओं की पुन: स्थापना में उन्होंने महत्वपूर्ण भूमिका निभाई.

वे पहली बार 1975 में दक्षिण अफ्रीका से बाहर निकले और स्वाज़ीलैंड में उनकी मुलाकात थाबो मबेकी से हुई और वहां से वे मोजाम्बिक गए, जहां उन्होंने सोवेटो विद्रोह के मद्देनजर आने वाले हजारों निर्वासितों के मामले को सम्भाला.

1977 में वे ANC राष्ट्रीय कार्यकारिणी समिति के सदस्य बने। उन्होंने मोजाम्बिक में भी ANC के उप प्रमुख प्रतिनिधि के रूप में कार्य किया, वे इस पद पर तब तक आसीन रहे जब तक कि 1984 में मोजाम्बिक और दक्षिण अफ्रीकी सरकारों ने नकोमाटी समझौते पर हस्ताक्षर ना कर दिया। समझौते पर हस्ताक्षर होने के बाद उन्हें ANC के मुख्य प्रतिनिधि के रूप में नियुक्त किया गया।

1980 के दशक के मध्य में जब ANC के राजनीतिक और सैन्य परिषद का गठन किया गया तब वे उसमें कार्यरत रहे और अप्रैल 1989 में उन्हें SACP के पोलित ब्यूरो के लिए निर्वाचित किया गया।

पी डब्ल्यू बोथा शासन द्वारा मोजाम्बिक सरकार पर काफी दबाव डाले जाने के कारण ज़ूमा जनवरी 1987 में मोजाम्बिक छोड़ने के लिए मजबूर हुए. वे लुकासा जाम्बिया, में स्थित ANC प्रधान कार्यालय में स्थानांतरित हो गए जहां वे बुनियादी संरचनाओं के शीर्ष और उसके तुरंत बाद खुफिया विभाग के चीफ नियुक्त किए गए। वहां पर उनका कार्यकाल काफी विवाद का विषय बना हुआ है।

दक्षिण अफ्रीका के राष्ट्रपति का पद लेने के बाद परिसंपत्तियों का खुलासा करने में विफल
पत्नियां
कारावास और प्रतिबंध
भ्रष्टाचार आरोपों के बाद भी जारी समर्थन