Detto anche il Castello, complessa mole in laterizi, animata da torri, costituita dalle parti superstiti dell'antica Cittadella medievale; gli attuali corpi di fabbrica datano dal sec. XIV al XVI. Al centro della facciata la seicentesca torre dell'Orologio, agli angoli il cilindrico bastione dell'Uccelliera (1480), la merlata torre di Passerino Bonacolsi (1320) e il torrione di Galasso Pio (sec. XV). Sottopassando la torre dell'Orologio si entra nell'elegante cortile interno, rinascimentale, dal classico disegno bramantesco, restaurato nel 1874. Dallo scalone monumentale si passa nelle sale di rappresentanza del piano nobile, che ospitano il Museo civico.