24 सितम्बर 1932 को यरवडा जेल में बन्द गांधी के सामने भारत के दलितों की ओर से डॉ भीमराव अम्बेडकर और एम सी राजा द्वारा तथा सवर्ण हिन्दुओं की ओर से मदन मोहन मालवीय ने हस्ताक्षर कर ऐक करार किया जिसके अंतरगत सांप्रदायिक अधिनिर्णय में संशोधन के साथ दलित वर्ग के लिये प्रथक निर्वाचन मंडल को त्याग कर प्रान्तीय विधान मंडलों में 71 के स्थान पर 147 स्थान और केन्द्रीय विधायिका में कुल सीटों की 18 प्रतिशत सीटें दी गयी। तदोपरान्त 26 सितम्बर 1932 को रवीन्द्रनाथ ठाकुर की उपस्थिति में गांधी जी ने यह कहते हुये अपना उपवास तोडा
उचित समय के अन्दर अस्पृश्यता निवारण सम्बन्धी सुधार यदि नेकनीयती के साथ न पूरा किया गया तो मुझे निश्चय ही फिर नये सिरे से उपवास करना पडेगा।
परन्तु इस विषय पर गांधी जी को पुनः उपवास करने की आवश्यकता नहीं पडी क्योकि चौथे दिन 30 सितंबर 1932 को बम्बई में मदन मोहन मालवीय जी की अध्यक्षता में एक बैठक हुई जिसमें देश के सभी हिन्दू नेताओं ने निश्चय किया कि अस्पृश्यता निवारण के लिए एक अखिल भारतीय अस्पृश्यता विरोधी मंडल एंटी अनटचेनिलिटी लीग स्थापित किया जाय जिनका प्रधान कार्यालय दिल्ली में हो तथा जिसकी शाखायें विभिन्न प्रांतों में स्थापित हों साथ ही जो अस्पृश्यता उन्मूलन के उद्देश्य को पूरा करने के लिए निम्न कार्यक्रम चलाये.
इन्ही विनिश्चयन के अनुसार अश्पृश्यता विरोधी मंडल नाम की अखिल भारतीय संस्था बनाई गयी जिसका मूल संविधान महात्मा गांधी ने अपनी हस्तलिपि में तैयार किया।
यही संस्था आगे चलकर ष्हरिजन सेवक संघष् कहलाई जिसका मुख्यालय किंग्सवे कैम्प दिल्ली में स्थापित है।
इस संघ का प्रथम प्रमुख श्री घनश्यामदास जी बिरला को नियुक्त किया गया तथा इसके पहले मंत्री बने श्री अमृतलाल बिट्टालदास ठक्कर जी ठक्कर बाबा के नाम से जाने जाते हैं।

अध्यक्ष
हरिजन शब्द
सचिव
यरवदा करार