Il a épousé Marguerite de la Tour du Pin.
Ils ont eu trois enfants ensemble : Louis, Marie et Henri. La famille a vécu dans le château de la Tour du Pin, dans la région de Bourgogne. Marguerite a été une épouse attentionnée et a soutenu son mari dans ses activités politiques.