Il palazzo, costruito prima del 1477 e ampliato intorno al 1568, è stato acquistato nel 1982 dallo Stato e dal 1997 ospita il dipartimento di Storia del Collezionismo del Museo nazionale Romano. Raccoglie le opere scultoree provenienti dalle collezioni Boncompagni-Ludovisi, Mattei, Altemps e dalla collezione egizia del Museo nazionale romano, sistemate secondo il gusto del collezionismo privato. Tra le opere più importanti della collezione Ludovisi si segnalano il Trono Ludovisi (V secolo a.C.), il gruppo del Galata suicida (I secolo a.C.), il sarcofago Grande Ludovisi (III secolo d.C.) e l'Ares Ludovisi (II secolo a.C.).