Ernesto tuvo tres hijos con María Erra.
Su hijo mayor, Ernesto, se convirtió en un destacado abogado en Buenos Aires, mientras que sus hijas, Sofía y Luciana, se casaron con hombres de la alta sociedad. La familia vivió en una gran casa en el barrio de Recoleta.