Importante edificio sia per le sue dimensioni, sia per la qualità architettonica dei vari corpi di fabbrica con cui si è venuto costituendo nell'arco di quattro secoli, è anche uno tra i pochissimi palazzi di Roma a essere ancora occupato dalle antiche famiglie, che conservano intatto il suo eccezionale patrimonio di arredi e opere d'arte. Il primo nucleo si formò a metà '400, accanto alla chiesa di S. Maria in via Lata, con la casa del cardinale Nicolò Acciapacci; dopo vari passaggi, il palazzo fu portato in dote a Camillo Pamphilj, per la cui famiglia il complesso venne ingrandito da Antonio Del Grande con la demolizione (1659) del cinquecentesco palazzo Salviati e la realizzazione (1659-63) dei prospetti sulle vie Lata e della Gatta. La risoluzione della facciata sul Corso si deve a Gabriele Valvassori (1731-34); gli ultimi grandi lavori, diretti da Andrea Busiri Vici, iniziarono nel 1846 e si protrassero fino al termine del secolo, comportando nuovi prospetti su vicolo Doria (1871) e su via della Gatta (1877-90). La facciata sul Corso è una delle architetture più originali e innovatrici della prima metà del '700 romano, marcata da finestre che al mezzanino e al piano terra presentano inusuali incorniciature borrominiane. Notevole anche il portale centrale, dove i capitelli delle colonne, disposte di spigolo, presentano gigli - simbolo araldico della famiglia - al posto delle foglie d'acanto.