Si tratta della parte più antica del palazzo, cui appartiene l’appartamento dell’Imperatrice, stanze ricavate nel 1778 da Paolo Pozzo per Beatrice d’Este, moglie di Ferdinando d’Austria di passaggio in città; la denominazione allude però a Maria Luisa d'Austria. La ricca decorazione dei due camerini neoclassici raffigura storie tratte dalla Metamorfosi di Ovidio ed episodi del ciclo di Ercole. Dalla sala dello Zodiaco si passa nell'appartamento degli Arazzi, costituito da tre sale e una saletta ristrutturate in stile neoclassico durante il dominio austriaco per esporvi gli arazzi fiamminghi su disegni di Raffaello (Atti degli Apostoli), già nella chiesa di S. Barbara.