Il corpo di fabbrica conserva quasi soltanto il nome dell'edificio costruito nel 1561, per donazione di Pio IV, da Vincenzo Seregni. Il partito architettonico originale è quello ancora adesso visibile, sebbene totalmente ritrascritto nei successivi rifacimenti: alla loggia a colonne binate si sovrappone un ordine di finestre coronate da doppie volute, entro una trama di erme che reggono il cornicione, in una singolare densità di modanature e di rilievi secondo il modello alessiano di palazzo Marino. La statua di S. Ambrogio benedicente, di Luigi Scorzini (1833), sostituisce quella di Filippo II di Spagna spezzata nel 1799. Lo schema della facciata dell'allora collegio dei Nobili Dottori (i Giureconsulti), una delle istituzioni chiave del patriziato milanese, fu esteso, dal 1562, per altre due campate all'attiguo palazzo del Tribunale di Provvisione (il massimo organo dell'amministrazione cittadina), a completare, oltre il passaggio di S. Margherita, un intero lato del Broletto. Verso il Duomo fu dapprima inglobata (1601) la torre di Napo, di origine duecentesca, poi la sede dei Dottori risvoltò, per opera di Carlo Buzzi, per una campata sul fronte est, a inglobare il portone della Pescheria vecchia (1655-56). Demolita quest'ala nel 1867 per l'apertura di via dei Mercanti, l'attuale testata su via Mengoni venne rifatta nel 1877; quindi, distrutto nel 1878 il palazzo del Tribunale di Provvisione, l'intera ala ovest fu ricostruita nel 1886-88 con parziale impiego di pezzi originali (la porta rimontata nel passaggio fu disegnata da Galeazzo Alessi nel 1564). Nel 1912-14, infine, Angelo Savoldi demolì quanto restava per costruire la nuova sede della Camera di Commercio. A questi lavori risalgono la facciata su via Farine, il terrazzo verso via dei Mercanti e i sontuosi interni tardoeclettici, fra cui lo scalone, ricavato nella cappella, e le sale ornate di affreschi sei-settecenteschi (Giovanni Ambrogio Besozzi, Antonio Busca e Federico Panza) strappati dalle volte demolite. Tra gli anni 1983-91 vengono avviati dalla Camera di Commercio nuovi interventi di recupero, sia funzionali che monumentali, affidati agli architetti Gianni Mezzanotte e Roberto Menghi, che consentono di dotare l'edificio di nuovi impianti tecnologici rendendolo un prestigioso centro polifunzionale.