Sorge in posizione panoramica nel sito dell’antica acropoli. La poderosa costruzione, a pianta poligonale e con torrioni cilindrici angolari, fu eretta nel 1541 da don Pedro de Toledo, viceré di Napoli, per difendere questo tratto di costa dalle incursioni saracene. Ospita la Biblioteca comunale e, nella torre Aiutante, il Museo civico che espone antiche ceramiche locali, stemmi in pietra che ornavano palazzi cittadini, armi dei sec. XVIII e XIX, pezzi di artiglieria in bronzo provenienti da navi. In piazza Casatello si affacciano: a nord il settecentesco palazzo Barracco, massiccia costruzione a corte chiusa; a sud il palazzo Morelli, costruito nel 1885 in forme classicheggianti.