Trasformazione secentesca a opera dei duchi di Guevara del castello costruito dai normanni sulle rovine di una rocca romana, quindi ampliato da Federico II. Dall'ingresso, posto in adiacenza alla torre cilindrica di origini normanne, si accede al quadrangolare cortile interno, su cui affacciano gli imponenti corpi di fabbrica dell'edificio. Vi è ospitato il Museo diocesano.