Fortet, bygget av jesuittene i det 17. århundre som et forsvar mot hollenderne, ble stort sett ødelagt av den samme brannen som brant St. Pauls.
Jesuittfortet overlevde den ville brannen som fortærte naboen St. Paul's.