Di fondazione cinquecentesca, fu rivisitato nel 1643-47 da Francesco Borromini, al quale si devono la rampa ovale interna e il loggiato a piano terra. Dal 1932 è sede dell'Accademia nazionale di S. Luca. Opere scelte nei vari concorsi indetti dell'accademia costituiscono le collezioni dell'omonima Galleria nazionale, tra cui si annoverano tele di Raffaello, Canaletto, Guercino, Van Dyck e Rubens.