Il Castello di Monte Sant’Angelo, posizionato nel punto più alto attorno al quale si è sviluppata successivamente la città, è stato probabilmente il nucleo primitivo dell’abitato. Il castello ha una planimetria irregolare che ricorda una forma romboide, adattata alla piattaforma rocciosa e la parte più antica è la Torre dei Giganti, alta 18 metri, con muratura spessa e lati di misure differenti. La sua edificazione risale a Orso I (837-838), vescovo di Benevento sotto papa Gregorio IV. Con i normanni il castello divenne il centro dell’organizzazione difensiva, ma anche la sede amministrativa e giudiziaria di un esteso territorio. Nel periodo svevo, il castello di Monte Sant’Angelo era tra i "castra exempta", il cui castellano doveva essere nominato ogni volta esclusivamente dall’imperatore. Furono gli Aragonesi tra il 1491 e 1493 a rinforzare il castello, facendo costruire le tre massicce torri circolari merlate poste agli estremi del lato sud.