På denne tiden var Edinburgh fortsatt en svært beskjeden by, men Davids etterfølger, Malcolm IV (1153-1165), gjorde slottet til sin hovedbolig.
Davids etterfølger var dronning Margaret III og hun bestemte seg for å flytte til Edinburgh slott.