16 Mart 1911'de, Almanya'nın Bavyera eyaletinin Günzburg şehrinde doğdu. Babası, çiftlik makinesi üreten Karl Mengene & Sons şirketinin kurucusu ve sahibiydi. Josef okulda başarılı bir öğrenciydi; müziğe, sanata ve kayak sporuna karşı yeteneği vardı. Liseyi Nisan 1930'da bitirdi ve felsefe okumaya Münih'e gitti. Münih, Nazi Partisi'nin karargâhının bulunduğu şehirdi. Mengele, 1931'de, paramiliter örgüt olan 'Stahlhelm, Bund der Frontsoldaten'a katıldı.
1935'te Münih Üniversitesi'nde Antropoloji doktorası yaptı. Ocak 1937'de Frankfurt'taki Genetik Biyoloji ve Irksal Hijyen Enstitüsü'ne katıldı. Burada çene yarığına yol açan genetik roller konusuna odaklandı. 1938'de Frankfurt Üniversitesi'nden tıp doktoru olarak mezun oldu. 28 Temmuz 1939'da Irene Schönbein'la evlendi. Çiftin tek çocuğu olan Rolf 1944'te doğdu.
Nazi ideolojisi, tüm Almanları tek devlet altında toplayan, yayılmacı bir politikaydı. Tüm Almanlar ancak Yahudi karşıtlığı, ırksal hijyen ve öjenik (sağlıksız ceninleri sağlıklılardan ayırıp yok etme) unsurlarıyla bir araya gelmeliydi.
Mengele, Nazi Partisi'ne 1937'de, Schutzstaffel'e (SS) ise 1938'de katıldı. Aynı yıl Gebirgsjager adlı bir taburda kısa süreli askerî eğitimden geçti. Haziran 1940'ta, Nazi Almanyası'nın silahlı kuvvetleri olan Wehrmacht'a çağrıldı. Ardından, Nazi Partisi'nin savaş ordusu Waffen-SS'de gönüllü doktor olarak Kasım 1940'a kadar çalıştı. Haziran 1941'de Ukrayna'ya gönderildi. Ocak 1942'de 5. SS Panzer Tümeni'ne savaş doktoru olarak katıldı. Rostov-on-Don'da ciddi şekilde yaralandı. Tedavisinin ardından Berlin'deki karargâha gönderildi. Nisan 1943'te SS yüzbaşısı rütbesine yükseltildi.
Birkenau'da yer alan Auschwitz II toplama kampı, esasında esir işçileri bir arada tutmak için kurulmuştu. SS doktorlarının görevi, tedavi etmek değil, kampa gelen Yahudileri seçmekti. İşe yarayan esirler, çalışması için ayrılmakta; işe yaramayan esirler ise gaz odalarında hemen imha edilmekteydi. Öldürülenler genelde çocuklar, çocuklu kadınlar, hamileler, yaşlılar ve sağlıklı olmadığına karar verilenlerdi. Doktorluk yapan Yahudi esirler de toplama kampının tıp kısmında görevlendirilmekteydi.
Mengele 1943'te toplama kampı görevinde çalışmak üzere başvurdu. Başvurusu kabul edildi ve Birkenau'daki Auschwitz'e atandı. Görevi, haftada bir hastane binasına giderek, iyileşemeyen esirleri gaz odalarına gönderme emrini vermekti. Mengele, görevi olmamasına rağmen, yeni gelen esirlerin seçilmesi işiyle de ilgilendi. Amacı, deneylerini üzerinde uygulayacağı denekler bulmaktı. Özellikle ikiz insanları seçmeye başladı. Gaz odalarında toplu imha için kullanılan Zyklon B adlı zehri ve siyanür bazlı böcek ilaçlarının etki derecesini ölçme işi de kendisine verildi.
1943'te Romani kampında noma salgını baş gösterince, Mengele bu hastalık hakkında bir çalışma yürüttü ve bir tedavi yöntemi geliştirdi. Noma salgınına yakalanmış hastalar seçim işleminde ayrılıyor ve öldürüldükten sonra hastalığa tutulmuş organlar kesilerek, araştırılmak üzere SS Tıp Akademisi'ne gönderiliyordu.
Mendele çalıştığı kampı antropolojik çalışmaları ve kalıtım araştırmaları için bir fırsat olarak gördü. Özellikle çift yumurta ikizlerine, sağ ve sol göz rengi birbirinden farklı insanlara, cücelere ve fiziksel engelli insanlara meraklıydı. Mengele, Deutsche Forschungsgemeinschaft (Alman Araştırma Cemiyeti) tarafından finanse edildi. Bu finansmanla Auschwitz'deki krematoryum binasına bağlı bir patoloji laboratuvarı kuruldu. Bu laboratuvarda, katılımın çevresel koşullara baskın gelip gelmediği, bu doğrultuda Aryan ırkının üstün olup olmadığı araştırılmaya çalışıldı. Mengele kendi araştırmalarını ilerletmek için kampta bir anaokulu kurdu. Kendini çocuklara 'Amca Mengele' diye tanıttı. Hatta on dört tane ikiz çocuğu, kalplerine kloroform enjekte etmek suretiyle tek gecede öldürdü. İnsanların göz rengini değiştirmek için insanların gözüne enjeksiyonda bulundu. Ölen hastaların gözleri, araştırma amacıyla Berlin'e gönderildi. Cüceler kan çekme, diş çekme, gereksiz ilaç ve x-ray kullanımına tepki verme deneylerine tabi tutuldu.
Mengele 17 Ocak 1945'te Gross-Rosen toplama kampına gönderildi. Kızıl Ordu 27 Ocak 1945'te Auschwitz'i işgal edip esirleri serbest bırakınca, Mengele'nin deney raporlarının çoğu yok edildi. Mengele daha sonra Çekoslovakya'ya gitti. Gizlenmesine rağmen ABD tarafından Haziran 1945'te savaş suçlusu olarak yakalandı. Fakat esas savaş suçluları arasında yer almadığı için Temmuz sonunda serbest bırakıldı. 17 Nisan 1949'da da Almanya'dan ayrıldı ve 'Helmut Gregor' takma adıyla Temmuz 1949'da Arjantin'e kaçtı. Eylül 1956'dan itibaren kendi adını kullanmaya başladı. 7 Şubat 1979'da, Sao Paulo'da, denizde yüzerken felç kalarak öldü.