Il collegio fu fondato nel 1561 dal cardinale Carlo Borromeo per accogliere studenti universitari poveri ma d’ingegno e Pellegrino Tibaldi trasformò allo scopo l’impianto a corte di un precedente monastero. Un salone al primo piano conserva due grandi affreschi di Federico Zuccari e Cesare Nebbia raffiguranti i Fasti della vita di san Carlo (1601). Oltre il monumentale cortile con doppio ordine di colonne binate si apre il giardino, sul quale affaccia il fronte interno disegnato a fine ’700 dal Pollack. A nord del collegio Borromeo, la zona intorno alla via di Porta Palacense e alla chiesa dei Ss. Primo e Feliciano ha conservato - coi vicoli acciottolati e i giardini intravisti dietro ai muri - una deliziosa atmosfera di borgo sottolineata dalle due torri di S. Dalmazzo e dei Belcredi. Sulla destra si intravedono i resti del vasto complesso monastico di S. Mostiola, meglio apprezzabili se s'imbocca via Ressi. In quest'area si suppone sorgesse il Palatium regis voluto da Teodorico e poi residenza dei re longobardi e dei successivi re italici fino alla distruzione per mano del Comune, nel 1024.