Det berømte Rock Fort, hovedfokuset i disse kampene, står over byen fra toppen av den store solide granitthøyden som ga byen navnet.
Rock Fort ligger rett utenfor sandkysten, den første forsvarslinjen mot pirater.