Affacciato sul giardino, come il vicino Palais, il museo nacque nel 1818 nelle gallerie del palazzo stesso dove le collezioni rimasero fino al 1886, quando fu pronto l’edificio destinato ad accoglierle. Nel 1937 molte delle opere d’arte furono trasferite al Musée d’Art moderne, nelle sale adibite all’esposizione del patrimonio artistico delle regioni francesi. Nel 2000 la gestione del museo tornò al Senato, che oggi programma le mostre alternando l’arte moderna a quella rinascimentale, tributo a Maria de’ Medici.