Costruito su progetto di Le Vau tra il 1644 e il 1648, divenne residenza del duca d’Aumont che nel 1656 incaricò François Mansart di ristrutturarne il corpo principale. Le decorazioni furono affidate ai più grandi pittori dell’epoca, Simon Vouet e Charles Le Brun: a quest’ultimo si devono gli affreschi nella sala di lettura della biblioteca del Tribunale amministrativo di Parigi, insediato nel palazzo dal 1959.