Skotske konger ble begunstiget av stedet, og det var Jakob IV som bestemte seg for å forvandle det enkle boligområdet til et ekte kongelig palass.
Mange konger kom til stedet og elsket det, men ingen syntes det var verdig nok til å forvandle på grunn av hvor langt det var.