Oltre la Colonna del Millennio, eretta per la ricorrenza millenaria della città, si arriva davanti alla Hofburg, il Palazzo vescovile, che più di ogni altro edificio cittadino esprime il potere e il prestigio del principe vescovo. La costruzione originaria, del XIII secolo, era sede del capitanato della città; il vescovo Bruno von Kirchberg la trasformò nel 1265 nella propria residenza ufficiale. Di quell'edificio, che era sostanzialmente una fortezza, non rimane quasi più niente: fu infatti demolito e le sue strutture furono solo in parte reimpiegate per la costruzione dell'attuale palazzo, di cui fu incaricato nel 1595 Alberto Lucchese. Il progetto, ampiamente ridimensionato a causa dei costi altissimi, produsse una costruzione comunque sontuosa, incentrata sul cortile chiuso nei lati nord e sud da fronti con portico e due ordini di logge rinascimentali. In corrispondenza della prima loggia, nei pilastri che reggono gli archi si aprono nicchie in cui sono collocate statue in terracotta raffiguranti i componenti di casa d'Asburgo, opera di Hans Reichle del 1597-1600. Gli appartamenti hanno sale con decorazioni a stucco e ad affresco: in particolare il salone dei ricevimenti nell'appartamento riservato agli Asburgo allinea una serie di preziosi arazzi e sfoggia un soffitto illusionisticamente dipinto da Antonio Gresta (1710).<br>Nelle stanze dell'edificio è allestito il Museo diocesano.