Tradizionale rifugio della popolazione in caso di pericolo, il complesso fu costruito dai bizantini su un impianto greco-romano e fortificato dai normanni (1057-1060), ma venne rifatto nei secoli XIII-XIV e rimaneggiato nel Cinquecento. L’ampio spazio che si apre davanti alla fortezza era un tempo il Baglio, luogo fortificato dove si rifugiava la popolazione. Restano solo un torrione cilindrico, tratti di mura e qualche rudere sparso della superba fortezza, costruita in posizione inaccessibile sopra una roccia tagliata a picco, un tempo collegata alla città solo da un ponte levatoio. Dalla rupe che precipita a strapiombo, la vista abbraccia un vasto panorama fino al mare.