Il palazzo venne eretto nel 1625 per il finanziere Mesme-Gallet, forse da Jean Androuet du Cerceau, ma fu il nuovo proprietario, Maximilien de Béthune duca di Sully, che – pur abitandovi per brevi periodi – spese una fortuna per abbellirlo. In fondo al giardino, un delizioso angolo di quiete con panchine per riposare, si trovano una limonaia detta Petit Sully (1641), voluta dal duca, e una porta che dà su place des Vosges. Per i bassorilievi allegorici che ornano le facciate, raffiguranti gli Elementi e le Stagioni, e per le mansarde molto elaborate, il palazzo ricorda l’hôtel Carnavalet. Oggi ospita il Centre des monuments nationaux; dal 2004 è inoltre diventato una delle sedi espositive del Jeu de Paume. Negli orari di apertura degli uffici è consentito attraversare il cortile e il giardino per accedere a place des Vosges.