Ursprünglich gehörte das Anwesen samt Herrenhaus der Familie Gregory.
Nachdem die Familie Gregory in finanzielle Schwierigkeiten geraten war, erwarb der reiche Industrielle Herr von Müller das Anwesen und das Herrenhaus im Jahr 1850. Er ließ es umfassend renovieren und nutzte es als Sommerresidenz.