La mole gigantesca occupa il punto più elevato dell'abitato e si presenta come un organismo composito, munito di torri di forma ed epoche diverse. Fu infatti eretto dai normanni (a tale fase è da riferire la torre dei Giganti, a pianta pentagonale) e ampliato da svevi, aragonesi e Borbone; dopo essere stato impropriamente usato per il ricovero delle greggi, è stato oggetto di un piano di recupero.