Rosen was married three times, first to Annie Lesser with whom he had two children, Hans and Dina, who with their mother settled in London in 1933 and whom Rosen visited regularly until the end of his life.
Rosen byl třikrát ženatý, poprvé s Annie Lesserovou, se kterou měl dvě děti, Hanse a Dinu, jenž se společně s matkou usadili v roce 1933 v Londýně, a které Rosen pravidelně navštěvoval až do své smrti.