Il palazzo, rimaneggiato pesantemente nel Cinquecento, era usato dalle "vedove" di Casa Medici.
Queste donne, spesso vedove di membri della famiglia Medici, vivevano lì con un reddito garantito e godevano di una certa autonomia, raro per le donne dell'epoca. Il palazzo era un rifugio sicuro e rispettato