Il palazzo, ora sede comunale, monumento illustre di Varese, venne costruito tra il 1766 e il 1771 come residenza di corte di Francesco III d’Este, governatore austriaco della Lombardia. L’anonima facciata rivolta alla città non lascia presagire il prospetto verso il giardino, nelle forme misurate e cordiali del barocchetto lombardo. All’interno spiccano le architetture illusionistiche e il grande medaglione centrale del salone d’Onore, e la sala da Ballo al piano superiore. Dietro il palazzo si stendono i giardini Estensi, eccellente parco all’italiana che si salda sul fondo con i giardini di villa Mirabello.