På denne tiden var Edinburgh fortsatt en svært beskjeden by, men Davids etterfølger, Malcolm IV (1153-1165), gjorde slottet til sin hovedbolig.
Malcolm den fjerde bestemte seg for å gjøre slottet i Edinburgh til sitt hovedbolig.