Die beiden Künstler kamen jedoch nur schwer miteinander aus, sowohl auf persönlicher als auch auf künstlerischer Ebene.
1888 erklärte sich Paul Gauguin bereit, sich mit Van Gogh in Arles zu treffen, um in dessen Gelbem Haus das „Atelier du Midi“ zu gründen. Die beiden Künstler kamen jedoch nur schwer miteinander aus, sowohl auf persönlicher als auch auf künstlerischer Ebene. Einem Bericht zufolge griff Van Gogh Gauguin während eines Streits mit einem Rasiermesser an, bevor er merkte, dass er zu weit ging. Um sich dafür zu bestrafen, dass er einen Freund verletzen wollte, schnitt er sich selbst ein Ohr ab.