Carte estuvo casado en dos ocasiones.
Su primer matrimonio fue con la actriz estadounidense Virginia Cherrill, con quien se casó en 1937 y se divorciaron en 1943. Su segundo matrimonio fue con la actriz francesa Denise Darcel, con quien se casó en 1946 y se