Il palazzo venne iniziato nel 1604 su disegno dell’architetto Vincenzo Scamozzi e completato solo nel 1928 con la monumentale facciata in marmo bianco. Dal 1928 ospita la Biblioteca civica «Angelo Mai», importante per i manoscritti e i fondi antichi a stampa comprensivi di rarissimi incunaboli e codici preziosi: nelle sale del palazzo si ammirano la colonna Camozzi, leggio scolpito a forma di albero, i seicenteschi globi, opera del cosmografo veneziano Vincenzo Maria Coronelli, busti e ritratti di personaggi della storia cittadina.