L’edificio, di proprietà dei conti Castiglioni, appartenne secondo la tradizione ai Bonacolsi, i primi signori di Mantova, ma fu più probabilmente fatto costruire dai Gonzaga prima della loro ascesa al potere. Presenta una severa facciata abbellita da una serie di trifore a tutto sesto di gusto gotico-veronese e terminante in una merlatura. Vi si accede attraverso due distinti portali: quello originale (N. 10), archiacuto, e uno successivo (N. 12), rinascimentale con stipiti in pietra finemente decorati a candelabre. Nell’archivio del palazzo è conservato l’autografo del Cortegiano, l’opera del mantovano Baldassarre Castiglioni (1528).