Sul promontorio a nord del porto, a ridosso del centro antico, è l'imponente castello, edificato per volere di Carlo I d'Angiò nel 1278 su progetto di Pierre d'Angicourt e riadattato nel 1530 da Evangelista Menga; fu quest'ultimo a dare alle mura il caratteristico aspetto a scarpata molto inclinata, con baluardi angolari secondo le nuove tecniche di difesa dall'artiglieria introdotte nel regno di Napoli da Alfonso I d'Aragona.