L'istituzione, nata nel 1678 col nome di Accademia dei Pittori, Scultori e Architetti, assunse la denominazione odierna solo nel 1833 quando Carlo Alberto la collocò nell'attuale sede, ricavata dalla ristrutturazione di un'ala dell'adiacente chiostro della chiesa di S. Francesco da Paola. Dal 1837 ospita una Pinacoteca, il cui patrimonio, per anni poco conosciuto in quanto destinato esclusivamente a studiosi, è accessibile al pubblico. Tra le opere di maggior pregio vi sono la tavola I dottori della Chiesa Ambrogio e Gregorio di Filippo Lippi; una serie di cartoni in carboncino, matita nera e gessetto di Gaudenzio Ferrari (spicca il Compianto sul Cristo morto); una Deposizione nel sepolcro del fiammingo Martin van Heemskerk, a lungo attribuita al Mantegna.