A dominio dell'abitato, fu commissionato espressamente, nel 1227, da Federico II, come 'punta' del solido triangolo difensivo impostato da quell'imperatore sulle salentine Gallipoli e Otranto. A pianta triangolare - il vertice guarda a nord, la base è rivolta a sud - ha muraglie coronate da merli nella parte settentrionale e presenta tre torrioni nel lato meridionale: una torre quadrata (è la più antica), l'angioina torre del Cavaliere e la coeva torre del Salto, più alta e di forma circolare. Un altro torrione quadrangolare, detto dello Sperone, è situato al vertice nord. Nell'angolo sud-orientale del cortile interno si trova la chiesa dei Ss. Crisante e Daria, risalente al IX secolo (si tratta forse del succorpo della prima Cattedrale della cittadina). Dopo anni di chiusura, il castello è tornato visitabile dopo un restauro terminato a fine 2010.