Born in Bronx, New York in 1911, he became a boxer before joining a trade union, where he clashed with the Teamsters.
Urodzony w Bronksie, Nowy Jork w 1911 roku Brown został bokserem przed wstąpieniem do związku zawodowego gdzie popadł w konflikt z Teamsterami.