Il est le gendre de Doi Toshikatsu.
Il est également le père de Doi Toshitsura, qui a joué un rôle important dans la guerre de Boshin. Sa famille a joué un rôle significatif dans l'histoire du Japon féodal.