Estuvo casado dos veces con la actriz Natalie Wood.
Su primer matrimonio con Natalie Wood fue en 1957 y duró hasta su divorcio en 1962. Después se casó con Natalie de nuevo en 1972, pero su segundo matrimonio también terminó en divorcio en 1976.