Reportedly, one reason he switched from physics to mathematics as his field was that compared to his office mate, future Nobel laureate Richard Feynman, Olum did not think he was good at physics.
Údajně jedním z důvodů proč přešel z fyziky k matematice jako jeho profesi bylo srovnání se svým spolupracovníkem, budoucím nositelem Nobelovy ceny Richardem Feynmanem, Olum se nedomníval, že by byl tak dobrý ve fyzice.