Nel 1568 i Malaspina trasferiscono la propria residenza dalla Rocca nel palazzo nel frattempo ristrutturato nel borgo sottostante, come fulcro del piano urbanistico celebrativo della casata. Quella che in origine era una villa suburbana diventa un dimora sontuosa, che verrà ampliata a più riprese sia nelle forme che nella scenografia del suggestivo cortile rinascimentale. Tra i committenti spicca la figura della principessa romana Teresa Pamphili, energica moglie del duca Carlo II Cybo, cui si deve la definitiva sistemazione barocca del primo Settecento. I lavori sono portati avanti nell'arco di quasi 50 anni da due rappresentanti di una famiglia di architetti di Carrara, i Bergamini, prima Gian Francesco e quindi Alessandro, con la collaborazione di maestranze locali per quel che riguarda l'eccezionale decorazione marmorea. L'edificio prospetta su piazza Aranci, cosiddetta per il filare di agrumi che la cinge su tre lati a testimonianza della bontà del clima; l'apertura dello spazio, per dare risalto al palazzo, ma a discapito dell'antica collegiata, si deve a Elisa Baciocchi, sorella di Napoleone Bonaparte, da questo posta al governo della città nel 1809. Al centro dello spazio, si nota invece la fontana-obelisco eretta nel 1853 in onore dei duchi di Modena, che ressero le sorti del territorio fino all'annessione nel Regno d'Italia.