Il palazzo venne costruito nel 1501-1503 quando l'isola, la maggiore delle Borromee, fu ceduta dal vescovo di Vercelli a Lancillotto Borromeo. Circondata dal giardino botanico famoso per la ricchezza e varietà delle piante, il palazzo custodisce nelle ricche sale pregevoli opere d'arte, soprattutto del XVII secolo. Particolarmente sontuosi il Salone dei ricevimenti, con dipinti di Giuseppe Panfilo detto il Nuvolone, Ercole Procaccini e Tommaso Costa, e la Sala delle Quattro Stagioni con un grande arazzo raffigurante l'albero genealogico dei Borromeo. Interessante per la varietà e importanza dei pezzi, la collezione di marionette e teatrini settecenteschi di casa Borromeo