Palazzo Rospigliosi è il risultato dell'aggregazione di vari edifici insistenti sull'area della prima cinta di mura urbane, il più antico dei quali, confinante con la Cattedrale, ancora ben visibile. L'elemento architettonico più significativo, sui modelli del tardo manierismo fiorentino, è il portale di ingresso, che si apre sormontato dallo stemma nobiliare con un'elegante scala a doppia rampa sulla Ripa del Sale. Il palazzo, acquistato dal capitano Giovan Battista Rospigliosi alla metà del XVI secolo, è stato donato nel 1981 dall'ultimo discendente del casato alla Cattedrale di Pistoia con l'onere di destinare a museo l'appartamento situato al primo piano e denominato 'di papa Clemente IX. Secondo una tradizione locale, infatti, Giulio Rospigliosi, assurto al soglio di Pietro nel 1667 avrebbe soggiornato almeno una volta in quelle stanze, dormendo nel grande letto a baldacchino che ancora si conserva tra le pareti tappezzate di damasco, i soffitti a cassettoni, gli affreschi del Sei-Settecento, la quadreria a soggetto biblico. Nelle sale contigue al Museo Clemente Rospigliosi si trova il Museo diocesano, che conserva arredi sacri provenienti dalla diocesi. Dal 2004 il palazzo ospita anche il Museo del Ricamo con le due sezioni Ricamo sacro e Ricamo pistoiese, gli oggetti per la casa e la persona