Il complesso monumentale, sorto in forme romaniche con interventi successivi in stile gotico, comprende la Collegiata (in origine dedicata a S. Pietro e poi cointitolata a Sant’Orso vescovo che la fondò), il campanile (visibile dall’esterno), la cripta e il Museo del Tesoro, il chiostro e gli edifici del Priorato, dimora di Giorgio di Challant quando nel 1468 divenne priore di Sant’Orso. Il Museo del Tesoro comprende oggetti d’arte sacra (reliquiari, croci processionali, bastoni priorali, calici, manoscritti, paramenti liturgici), sculture e dipinti che testimoniano la storia della Collegiata dal XII secolo fino ai tempi moderni. Da segnalare, il calice detto di S. Orso (XIII secolo), il braccio reliquiario, la cassa reliquiario e la statua reliquiario di S. Orso. Nel sottotetto della navata mediana della Collegiata si possono ammirare i notevoli affreschi ottoniani: datati intorno ai primi decenni dell’XI secolo, sono opera di più artisti e raffigurano episodi della vita di Cristo e scene di martirio di santi.