Il piccolo centro costiero, di origine peuceta e città fortificata sin dall'epoca romana, è disposto intorno a piazza Vittorio Emanuele II, cerniera tra il nucleo storico, la zona ottocentesca e le nuove espansioni. La parte più significativa è quella attestata sul piccolo promontorio a ridosso del porticciolo; cinta da fortificazioni nel '400, racchiude testimonianze architettoniche che documentano la storia dell'insediamento dall'età romana a quella medievale e barocca. Superato l’arco di Traiano, ci si trova di fronte ai maestosi bastioni affacciati sul porto: l'aragonese torre Sagarriga funge da snodo tra lo scalo delle imbarcazioni e la salita di via Cattedrale, che, lungo i bastioni, arriva alla Cattedrale.
Sulla vicina piazza Duomo affaccia imponente il Palazzo Ducale: l'edificio a corte, della metà del '600, mostra i segni della ricchezza architettonica soprattutto sul lato volto al mare, a ridosso dei resti delle mura romane.
Addentrandosi nelle stradine del centro è possibile ammirare altri edifici di singolare fattura e numerosi luoghi di culto: la chiesa dello Spirito Santo (fine del XIV secolo), con due cupole in asse a base ottagonale; tornando verso l'arco di Traiano, quella cinquecentesca della Madonna di Costantinopoli, che prospetta sull'omonima piazzetta un tempo sede del Sedile.
Spingendosi verso sud-ovest alla volta di Terlizzi per circa 4.5 km si raggiungono: la chiesetta del Padre Eterno, uno dei tanti luoghi rupestri costruiti nella zona tra l'XI e il XII secolo; il dolmen di S. Silvestro risalente all'età del Bronzo e completato da una tomba a tholos.