Etter en kort tid som bodde i Palazzo Vecchio i Piazza della Signoria, hertug Cosimo I og hans kone, Eleonora av Toledo, kjøpte palasset fra den konkurserende Pitti handelsfamilie i 1549 som Medici offisielle residens; det ble utvidet og forsterket betydelig gjennom århundrene.
Familien Pitti gikk konkurs fordi de investerte alle pengene sine i ett produkt.