Al termine della salita di via della Libertà si raggiunge l'area militare che racchiude il castello, detto anche 'di terra', voluto da Federico II nel 1227, ampliato prima da Ferdinando d'Aragona (1481), poi da Carlo V (1550): eretto con materiale di risulta di edifici preesistenti, presenta una pianta trapezoidale e si compone di un mastio quadrato con torrioni angolari (il profondo fossato fu colmato per ricavarne ambienti).