Southey was a nephew of Romantic poet Robert Southey, and the fifth son of medical doctor Henry Herbert Southey.
Southey byl synovcem romantického básníka Roberta Southeyho a pátým synem lékaře Henryho Herberta Southeyho.