Il palazzo della celebre casata è stato ricostruito dopo i danneggiamenti causati dai bombardamenti della seconda guerra mondiale. Rimangono notevoli la facciata in cotto, di aspetto seicentesco, e il portale marmoreo quattrocentesco a sesto acuto. Spicca un piccolo dromedario coronato, antico emblema familiare. Altrettanto interessanti sono gli affreschi nella corte d’onore: un ciclo gotico della prima metà del ’400, che raffigura giochi della società signorile milanese, si trova nel secondo cortile, in locali ora occupati da uno studio di architettura. Apparteneva alla famiglia Borromeo – come avverte il motto latino “Humilitas” in facciata – anche la chiesa di S. Maria Podone, fondata prima del decimo secolo, rifatta a metà ’400, e infine trasformata dopo il 1626. Nel sagrato si trova un monumento a san Carlo Borromeo, statua seicentesca detta “San Carlin” per paragone con la colossale statua del “San Carlone” ad Arona, sul lago Maggiore.