Il palazzo è un notevole esempio di dimora aristocratica, risultato di una ristrutturazione cinquecentesca di case-torre del ’200 e del ’300. La doppia scala porta a visitare il Museo diocesano, con oggetti e arredi sacri dal territorio della diocesi, e il Museo Clemente Rospigliosi, con opere d’arte in gran parte seicentesche. Il Museo Rospigliosi occupa il cosiddetto appartamento di papa Clemente IX, al secolo Giulio Rospigliosi.