Lyttelton besuchte zunächst das Eton College und studierte dann an der Universität Oxford.
Nach seinem Studium trat er in die britische Armee ein und diente in Indien. Später wurde er in die Politik eingesetzt und wurde Abgeordneter im House of Commons. Seine politische Karriere war geprägt von seiner liberalen Einstellung.