Posto a controllo del seno del Canneto, l'antico porto ancora oggi gremito da barche e pescherecci, fu realizzato nel XVI secolo su disegni di Francesco di Giorgio Martini, incaricato nel 1491-92 di proporre modifiche necessarie per adeguare le fortificazioni cittadine alle mutate tecniche difensive. La possente mole, impostata su una preesistente fortezza angioina (ancora riconoscibile nel torrione poligonale a sud-est), presenta una pianta quadrata, rafforzata da torrioni cilindrici angolari. Precede il castello, fino al XIX secolo circondato da fossato, un rivellino (1522), come un avamposto proteso nello specchio di mare che separa il borgo antico dalle moderne espansioni.