Lo corona un'altana (Martino Longhi il Vecchio, 1585) con arcate fra lesene binate, sormontata da quattro obelischi e dallo stemma di Roberto Altemps (sulla cupola lo stambecco saliente la rosa Orsini). Fu costruito dopo il 1471 incorporando case ed edifici medievali addossati alla cinta fortificata che correva parallela a via dei Soldati; restaurato da Virginio Vespignani (1837) e Antonio Muñoz (1949), allunga la facciata principale a tre piani, che è marcata agli spigoli da una bugnatura disegnata da Giacomo Della Porta, su via di S. Apollinare. L'edificio accoglie, come sede distaccata del Museo Nazionale Romano, le raccolte rinascimentali di scultura, in particolare la collezione di arte antica Boncompagni-Ludovisi.