Aveva un fratello maggiore, Alexander Simon Fraser.
Era un ufficiale dell'esercito britannico e aveva partecipato a diverse campagne in India e in Africa. La sua famiglia era originaria della Scozia e aveva una lunga tradizione militare.