L’odierna poderosa mole del Castello Visconteo è poca cosa, probabilmente, rispetto a come doveva apparire nel periodo del suo massimo fulgore. Nel 1361, da poco signore della città, Galeazzo II Visconti diede inizio ai lavori sotto la guida di Bernardo da Venezia. Petrarca, ospite in quegli anni a più riprese di Galeazzo, vide sorgere l’edificio e in una lettera del 1365 a Boccaccio lo definì «la più nobile tra quante sono le opere moderne». Nel 1527 il fastoso lato nord, con un salone delle feste affrescato dal Pisanello, fu distrutto dai francesi nel corso di un saccheggio che vendicava la sconfitta di due anni prima. Progressivamente decaduto a partire da quel secolo, il Castello fu ridotto a presidio militare e solo negli anni Trenta del ’900 fu sottoposto a importanti restauri. Insieme roccaforte armata e residenza signorile, mostra oggi la sua doppia natura, da un lato nella possente struttura quadrilatera rinforzata dai torrioni angolari, dall’altro nelle eleganti bifore sulle facciate e nel doppio ordine di ariosi portici e loggiati aperti sul cortile interno. Sul piano stilistico vi coesistono il gotico d’ispirazione veneta nel coronamento della facciata e nelle bifore a sesto acuto con archetti trilobati, e il rinascimentale nell’armonica modularità della pianta quadrata che dall’impianto generale passa ai torrioni, alle sale interne, al porticato. Contrasta col rosso del laterizio il profilo bianco del marmo che adorna le 124 finestre. Circonda il vasto cortile un doppio ordine di portici e loggiati: i primi sono costituiti da una successione di archi leggermente acuti in pietra d’Angera, i secondi conservano nel lato a sud le originarie, eleganti quadrifore sormontate da transenne variamente traforate di gusto veneziano, mentre le monofore e bifore polilobate sui lati occidentale e orientale restauri in stile.