Dalla parte di suo padre era un pronipote dello storico William Mitford.
Suo nonno era il figlio di John Mitford, un giudice di pace e membro del Parlamento per Morpeth. Questa discendenza lo legava a una famiglia di avvocati e politici di lunga data.