I tillegg til å være Marie-Antoinettes siste hjem, var palasset en favoritt av Napoleon III og hans kone Eugénie, hvis ekstravagante minner utgjør Musee du Second-Empire.
Napoleon III bodde i palasset uten sin kone.