In seguito si schierò con il clan Oda ma perse comunque il castello.
Dopo la sconfitta, si unì al clan Tokugawa, che lo nominò governatore del castello di Hamamatsu. Lì, riuscì a consolidare la sua posizione e a difendere il castello contro le incursioni dei clan rivali.