Il luogo dove si erge il castello fu sede privilegiata delle genti vissute nella zona fin dalla preistoria. Gli edifici qui costruiti nel corso dei secoli sono stati sepolti dal tempo oppure distrutti per mano dell’uomo; ultimo il castello medievale eretto nel XII secolo da Corrado I, vescovo di Salisburgo, per far posto all’attuale grande costruzione a forma di U il cui nucleo risale al XIII-XIV secolo. Nel periodo rinascimentale furono apportate alcune aggiunte: le casematte, i bastioni merlati, il porticato e il doppio ordine di logge sui tre lati che guardano al cortile interno, lo scalone e la struttura esterna con il bel portale di Giovanni Sallustio Peruzzi, arricchito un secolo dopo con un nuovo coronamento. Nel XVII secolo l’edificio fu rimodellato in stile barocco; vennero aggiunti la cappella, una parte dell’ala est e un capiente magazzino del grano sotto lo spiazzo a nord riservato ai tornei. Il castello era circondato da mura, collegate a quelle cittadine, in buona parte conservate. Gli ultimi proprietari furono gli Herberstein; alla fine della prima guerra mondiale la proprietà con quasi tutto l’arredamento passò all’amministrazione pubblica che la destinò al Pokrajinski muzej.