His brother was the composer Richard Storrs Willis and his sister Sara wrote under the name Fanny Fern.
Jego bratem był kompozytor Richard Storrs Willis, a siostra Sara pisarką występującą pod przybranym nazwiskiem Fanny Fern.