Dopo un radicale restauro, si presentano come un unico edificio, frutto dell'assemblamento di tre distinte costruzioni che l'utilizzo comune del tufo come materiale da costruzione non è riuscito a mitigare completamente. A ridosso dell'abside del Duomo si innalza il palazzo di Urbano IV (1262-64), il primo a essere costruito, dalla facciata mossa da una serie di trifore che alleggeriscono la modellatura a 'scacchiera' tipica della città. Addossato a questo, il palazzo di Gregorio X (1272-73), più articolato rispetto al primo, ma con analogie negli ambienti coperti da volte a botte, nella travatura di legno della grande sala al primo piano e nelle trifore di facciata. Completamente isolato, invece, sul lato sud, il palazzo di Martino IV (1281-84), con pianterreno aperto a loggiato e facciate ritmate dalla serie di bifore con cornici, ma prive del motivo a 'scacchiera'. La piattaforma, ora chiusa da una grande vetrata, è l'ultimo elemento costruito con funzione di raccordo delle parti dei palazzi papali. Nel complesso, al pianterreno, ha sede dal 1983 il Museo archeologico nazionale.