This helped him survive the hostility of other party officials such as the party treasurer, Franz Xaver Schwarz, who regarded him as a drunken incompetent.
Jeho vztah s Hitlerem mu pomohl přežít nepřátelství jiných stranických funkcionářů, jako například pokladníka strany, Franze Xavera Schwarze, který Leye považoval pouze za nekompetentního opilce.