Imponente struttura eretta dagli svevi su fortificazioni normanne, il maniero, di pianta quadrangolare, fu rafforzato a opera di Pierre d'Angicourt verso la fine del XIII secolo e dagli aragonesi nel successivo; alla metà del '500 furono aggiunti i bastioni angolari e scavati gli ampi fossati di difesa. Oltrepassato l'androne, ove erano il corpo di guardia e la cappella, si accede all'ampio cortile interno, di forma quadrata, in cui si distinguono gli accessi ai piani superiori e agli spalti realizzati con ampie scalinate o con gradoni per il transito dei cannoni; le tre finestre ogivali appartengono alla struttura sveva. Nel castello ha sede il Museo civico.