Già in epoca romana e preromana sulla collinetta al centro della città erano state erette fortificazioni e strutture difensive. L’attuale Castello è una costruzione a pianta stellare con quattro bastioni angolari, innalzata dai veneziani nel 1632 e modificata in epoca napoleonica. Ospita il Povijesni muzej Istre/Museo storico dell’Istria, dedicato alla storia dell’Istria, con una mostra permanente sui cantieri navali.