Palasset, mye endret over generasjonene, ble vanligvis brukt som en residens bare i tider med dynastisk betydning eller fare, når Holyrood, nede i lavlandet, var vanskelig å forsvare.
Palasset var bare et hus når det var en trussel.