Skotske konger ble begunstiget av stedet, og det var Jakob IV som bestemte seg for å forvandle det enkle boligområdet til et ekte kongelig palass.
Skotske konger alltid misliket stedet og James IV vilt gjort det til et kongelig palass.