I 1529 begynte arbeidet med et tårn og kongelige leiligheter for James og hans kone, Mary of Guise, som nå utgjør den vestlige delen og tårnet i det nåværende palasset.
Arbeidet med de kongelige leilighetene varte over et århundre.