Il museo ha sede nel forte, di origine medievale, modificato da Francesco di Giorgio Martini per incarico di Federico II di Montefeltro. Di stupenda architettura medievale e rinascimentale, è arricchito da una raccolta di mobili e armi quattro-ottocentesche e un'ampia documentazione su Giuseppe Balsamo, il conte di Cagliostro, qui tenuto prigioniero in completo isolamento dal 1791 fino alla morte, nel 1795, e su altri personaggi storici e vicende riguardanti il Risorgimento italiano e il passato della cittadina. È sede di esposizioni temporanee d'arte