Desciende de una familia de pintores provenientes del estado de Tirol en Austria.
Su padre, Franz Xaver Winterhalter, fue un destacado retratista de la corte de los zares de Rusia, mientras que su hermano, Karl Franz, también se dedicó a la pintura.