Il museo è ubicato nel palazzo Oliva, fatto edificare nel Quattrocento dal cardinal Alessandro Oliva. La raccolta include opere, provenienti da chiese, conventi e palazzi privati, firmate da autori locali e di area toscana e coprono un arco temporale che va dal Medioevo al Barocco. Notevoli l'Annunciazione e la Madonna con Gesù bambino in trono con due santi vescovi e il committente inginocchiato, entrambe di Petro Paolo Agabiti, l'Immacolata concezione e Gesù Cristo Crocifisso, con la Madonna e San Giovanni Evangelista di Giovan Battista Salvi, conosciuto come il Sassoferrato. Nel 2009 è stata inaugurata, all'interno del museo, la Raccolta "Incisori marchigiani" allestita grazie alla donazione da parte dei coniugi Pagliarini della loro collezione comprendente oltre 400 grafiche firmate da artisti marchigiani, da Federico Barocci a Carlo Maratta, da Adolfo de Carolis a Tullio Pericoli ad Arnaldo Pomodoro