Il palazzo prende il nome dalla famiglia che, alla fine del XVIII secolo, lo fece edificare in questa zona di Pistoia dove tanti edifici erano di sua proprietà. Il completo restauro ha permesso, nel 2012, che l'edificio tornasse la sede istituzionale della Fondazione Cassa di Risparmio di Pistoia e Pescia. Il palazzo è sede di una collezione permanente di opere d'arte della famiglia De' Rossi.