I det 12. århundre, da huset bestod av lite mer enn pele tårnet, var det eid av de Morville familien (en av de mer beryktede medlemmene av denne familien, Hugh de Morville, var en av de fire riddere som myrdet Thomas Becket i Ceterbury Cathedral i 1170).
Huset hadde blitt en stor struktur på 1200-tallet, og de Morville familien ikke hadde råd til å kjøpe det.