Appartenne agli Alamanni, passando poi ai Buondelmonti e, per via ereditaria, agli Scolari.
Nel 1387 fu acquistato da Giovanni di Bicci de' Medici, fondatore della famiglia Medici, che lo trasformò in una residenza signorile. La proprietà rimase ai Medici fino al 1495.