L'attuale gradinata d'accesso sorge dove un tempo fu il ponte levatoio che collegava il castello al piano più basso delle torri. Il castello, col suo maestoso prospetto coronato da merli, fu costruito nel XII-XIII secolo, in parte con materiale antico, sulla rocca di frequentazione preistorica, sede, probabilmente di un antico culto della fecondità: dediche ad Astarte, ad Afrodite e a Venere ne testimoniano la continuità. Scavi archeologici condotti nel '900 individuarono scarsi resti attribuiti al recinto del santuario, rocchi di colonne romane, un pavimento musivo. Oggi si vedono i blocchi di un muraglione di epoca punica, avanzi di un pozzo sacro, resti di un edificio termale romano. Ma a colpire sono i vertiginosi panorami che si aprono dai diversi affacci sullo strapiombo: su Trapani, le saline e le Egadi; sul monte Cofano eil suo golfo fino a San Vito lo Capo; sull'Agrigentino e l'azzurro del "mare africano".