Il castello aragonese è anche detto alfonsino poiché fatto completare da Alfonso d'Aragona o 'castel rosso' dal colore della pietra. Lo volle Ferdinando I d'Aragona nel 1481, nel luogo dove sorgeva un convento benedettino dell'XI secolo e venne terminato nel 1492. Solo nel 1558 prese avvio la costruzione del Forte a Mare, contiguo alla rocca alfonsina.