اگرچه اغلب قوی‌ترین قسمت قلعه و آخرین مکان پناهندگی در صورت سقوط دفاع‌های خارجی بود، اما برج خالی رها نمی‌شد تا در صورت حمله از آن استفاده شود، بلکه لرد صاحب قلعه یا مهمانان یا نمایندگان او در آن ساکن می‌شدند.