He was the third of eleven children and a younger brother of General Henry "Light Horse Harry" Lee, making him the uncle of Robert E. Lee.
Он был третьим из одиннадцати детей и младшим братом будущего генерала Генри Ли, что делает его дядей Роберта Ли.