Il a été marié à l'actrice Juliet Berto, puis à l'actrice Marie Berto.
Il a également été en couple avec l'actrice et réalisatrice Agnès Varda, avec qui il a collaboré sur plusieurs projets. Cette relation a duré plusieurs décennies.