Isolato su un colle, il castello, oggi sede del museo cittadino, è citato già nel 1275. Si ingrandì in fasi successive: dapprima la sede del feudatario conte Heunburg consisteva in un massiccio edificio nell’angolo a nord-ovest con un piccolo cortile interno; nel XV secolo venne rafforzato con un giro esterno di mura e robuste torri circolari a sud-ovest; nella prima metà del XVI secolo furono aggiunte le ali residenziali a nord e un secondo giro di mura e alla fine del secolo vennero costruiti il grosso rivellino rinascimentale sull’angolo a sud-est e le arcate nel cortile aperto. Cambiò più proprietari e agli inizi del XVIII secolo entrò a far parte dei domini dei conti Coronini, che mantennero la struttura del complesso, modificando solo alcune sale.