Presso piazza del Castello domina, a cerniera delle mura, il torrione angioino, di forma circolare e coronato di rostri, e, a lato di questo, una porta dà accesso all'abbazia, che accoglie la chiesa, alta su una scalinata (splendido il panorama). Nella semplicità compositiva della facciata, in pietra bianca pugliese, si staglia il portale quattrocentesco; all'interno, singolare esempio di schema distributivo e costruttivo medievale, il pavimento conserva diverse tracce del mosaico eseguito dai Benedettini verso la metà dell'XI secolo; il soffitto ligneo, sostitutivo dell'originaria volta, evidenzia le ricche decorazioni barocche; sull'altare maggiore si può ammirare un polittico in legno del XV secolo realizzato da artisti veneziani, nell'abside della navata sinistra la statua lignea di S. Maria a Mare, nel deambulatorio a sinistra la preziosa Croce tremitese, significativo esempio di arte greco-bizantina.