Comme ses amis John Russell et John Montagu, Halifax était passionné de cricket.
Il a même été capitaine de l'équipe de cricket de l'Université de Cambridge, où il a étudié. Sa passion pour le jeu lui a valu une place dans le club de cricket de la noblesse anglaise, le Marylebone Cricket Club.