Er lebte mit seiner Frau, der Psychoanalytikerin Jane Hall, in Greenwich Village.
Sie hatten zwei Kinder und lebten in einem kleinen Haus in der Nähe von Washington Square Park. Die Familie war bekannt für ihre intellektuelle und künstlerische Atmosphäre, die viele Künstler und Schriftsteller anzog.