Kan'eiji var et sete for stor makt til 1868, da det ble slagmarken i shogunatet siste stå mot keiserlige hæren og de fleste av bygningene ble ødelagt.
De fleste av bygningene i Kan'eiji ble revet i slutten av 1800-tallet. 