1944 के आखिर में, हिमलर नवगठित आर्मी ग्रुप अपर राईन ("हीरसग्रुप्पे ओबर्रहेन") के कमांडर-इन-चीफ बन गये। राइन के पश्चिमी तट पर अल्सास क्षेत्र में आगे बढ़ती हुई अमेरिकी 7वीं आर्मी और फ्रांसिसी 1ली आर्मी से लड़ने के लिए इस आर्मी ग्रुप का गठन किया गया था। अमेरिकी 7वीं आर्मी जनरल अलेक्जेंडर पैच और फ्रांसिसी 1ली आर्मी जनरल जीन डी लात्त्रे डी तास्सिग्नी के कमांड में थी।

1 जनवरी 1945 को, हिमलर के आर्मी ग्रुप ने अमेरिकियों और फ्रांसीसियों को पीछे धकेलने के लिए ऑपरेशन नॉर्थ विंड ("अंटरनेहमेन नोर्डविंड") शुरू किया। जनवरी के अंत में, कुछ सीमित शुरुआती सफलता के बाद हिमलर को पूरब की ओर स्थानांतरित कर दिया गया। 24 जनवरी तक, रक्षात्मक होने के कारण आर्मी ग्रुप अपर राइन को निष्क्रिय कर दिया गया। आधिकारिक तौर पर ऑपरेशन नॉर्थ विंड 25 जनवरी को समाप्त हो गया।

दूसरी ओर, जर्मन सेना ("वेह्र्मच्त हीर") लाल फ़ौज के विस्तुला-ओडेर आक्रामकता को रोक पाने में विफल रही, तब हिटलर ने हिमलर को एक अन्य नवगठित सैन्य ग्रुप का कमान सौंपा, इस आर्मी ग्रुप विस्तुला ("हीरसग्रुप्पे वेइच्सेल") को बर्लिन की ओर बढ़ती सोवियत सेना को रोकना था। आर्मी ग्रुप अपर राइन की विफलता और सेना की टुकड़ियों को नेतृत्व देने में उनकी अनुभव की पूरी कमी तथा अक्षमता के बावजूद हिटलर ने हिमलर को आर्मी ग्रुप विस्तुला की कामं सौंप दी। यह नियुक्ति मार्टिन बोरमैन के उकसाने पर हुई हो सकती है, ताकि प्रतिद्वंद्वी को बदनाम किया जा सके, या फिर सैन्य अधिकारियों की "विफलता" पर हिटलर के बढ़ते गुस्से की वजह से हुई हो सकती है।

आर्मी ग्रुप विस्तुला के कमांडर-इन-चीफ की हैसियत से हिमलर ने स्च्नेईदेमुहल (Schneidemühl) में अपना कमांड केंद्र बनाया। वे अपनी विशेष ट्रेन ("सोंदेर्ज़ुग"), "सोंदेर्ज़ुग स्टीयरमार्क", को अपने मुख्यालय के रूप में इस्तेमाल करते. ट्रेन में सिर्फ एक टेलीफोन लाइन होने और कोई सिग्नल विलगन नहीं होने के बावजूद हिमलर ने ऐसा किया। अपनी दृढ़ता दिखाने के लिए उत्सुक, हिमलर ने सैन्य अधिकारियों के त्वरित-हमले के आग्रह को चुपचाप मान लिया। ऑपरेशन जल्द ही दलदल में फंस गया और हिमलर ने एक नियमित आर्मी कमांडर को बर्खास्त कर दिया और नाज़ी हेंज लम्मेर्डिंग को नियुक्त किया। उनके मुख्यालय को भी फाल्कनबर्ग पीछे हटने पर मजबूर होना पड़ा. 30 जनवरी को, हिमलर ने क्रूर आदेश जारी किया: "टोड अंड स्ट्रेफे फर फ़्लिच्त्वेर्गेस्सेन्हेइत" (Tod und Strafe für Pflichtvergessenheit) - "जो अपने दायित्वों को भूल जाते हैं उनके लिए मृत्यु और दंड," अपनी सेना को प्रोत्साहित करने के लिए। बिगड़ती स्थिति के कारण हिमलर पर हिटलर का दबाव बढ़ता गया; वे सम्मेलनों में अनिश्चयात्मक और बेचैन रहने लगे। हिटलर पर जनरल हेंज गुड़ेरियन के जबर्दस्त दबाव के कारण जनरल वाल्थर वेंक के निर्देश में हिमलर की सेना ने मध्य-फरवरी में पॉमेरियन आक्रामकता शुरू की। मार्च के आरंभ तक, हिमलर का मुख्यालय ओडेर नदी के पश्चिम ले जाया गया, हालांकि उनकी सेना का नाम अब भी विस्तुला के नाम पर ही रहा। हिटलर के साथ सम्मेलनों में, पीछे हटने वालों के साथ कडाई में वृद्धि करने की हिटलर की नीति का ही समर्थन करते रहे।

13 मार्च को, हिमलर ने अपने कमांड को छोड़ दिया, वे बीमारी का दावा करने लगे और होहेनलिचेन के एक अस्पताल में भर्ती हो गये। गुड़ेरियन ने वहां उनसे भेंट की और आर्मी ग्रुप विस्तुला के कमांडर-इन-चीफ से उनका इस्तीफा लेकर उसी रात हिटलर को सौंप दिया। 20 मार्च को, हिमलर के स्थान पर गोत्थार्ड हेनरिकी को जनरल बनाया गया।

पोज़न का भाषण
कमांडर-इन-चीफ
आंतरिक मंत्री
सत्ता का दृढ़ीकरण