Su bisabuelo, Sidney Dillon, fue presidente de la compañía ferroviaria Union Pacific.
Su abuelo, Clarence Dillon, fue un banquero y fundador de la inversión Dillon, Read & Co. Su padre, Clarence Douglas Dillon, fue Secretario del Tesoro de los Estados Unidos bajo la presidencia de John F. Kennedy.