Jackson retired to The Hermitage outside Nashville to live out his life. He is still remembered for his determination to "kill the Bank".
Második elnöki mandátumát követően Jackson élete hátralévő részére visszavonult ide, a Remetelakba, Nashville külvárosába.