Eretto nel 1577-88 con funzioni di residenza privata del principe, fa da fondale alla piazza ed è collegato sulla sin. alla *galleria degli Antichi; il tono apparentemente dimesso del prospetto (probabilmente in origine affrescato), è nobilitato da un bellissimo cornicione in legno intagliato. L’interno comprende una ventina tra sale, salette e passaggi che rivelano la ricchezza e l'eleganza della decorazione ad affreschi, stucchi e grottesche; solo alcune conservano gli originali pavimenti marmorei, per il resto trasferiti a Mantova nel 1774. Si segnalano, al piano terreno, la sala di Marte, con fregi in stucco e volta affrescata, forse da Alberto Cavalli; la sala dei Venti, con frammenti di paesaggi e figurazioni fantastiche di gusto fiammingo; il camerino di Venere, ornato di stucchi dorati e grottesche del Fornaretto Mantovano e di affreschi di Bernardino Campi.Al primo piano: il camerino dei Cesari; la sala delle Olimpiadi, con lunette istoriate dal Campi e il mito di Filemone e Bauci; la sala dei Miti, adorna di un doppio fregio in stucco e volta a padiglione affrescata pure del Campi. Dal corridoio di Orfeo, si passa a sin. nella saletta di Enea, riccamente decorata dal Fornaretto e da Bartolomeo Conti. Segue la grande sala degli Specchi, con riquadri affrescati probabilmente dall'Urbino (scene agresti). In fondo si apre il gabinetto delle Grazie, affrescato a grottesche, figurine mitologiche e con una leggiadra volta a stucchi. La *galleria degli Antichi (m 97x5.8), illuminata da lunghe teorie di finestre, ha soffitto ligneo e pareti decorate a fresco, fra gli altri, da Giovanni e Alessandro Alberti; in essa Vespasiano Gonzaga aveva collocato la raccolta di busti marmorei, statue romane e greche, bassorilievi ecc. che, per decisione di Maria Teresa, nel 1774 fu trasferita a Mantova.