La gravina che circonda per due terzi la cittadina è la più grande della provincia nonché una delle più estese dell'intera Puglia (prende anche il nome di 'gravina Grande'). Le cavità naturali, utilizzate sia per usi civili sia come chiese-cripte, che si aprono nelle pareti della valle d'erosione rimandano alle origini stesse dell'abitato, delineatosi probabilmente nel X secolo quando i contadini del vicini casali ripararono nelle grotte per sfuggire alle incursioni piratesche.
La medievale Castellanetum venne conquistata da Roberto I il Guiscardo nel 1081 (da allora è sede vescovile), divenendo più tardi ducato dei Caracciolo. Nel 1503 gli abitanti cacciarono con decisione i francesi, nell'ambito della lotta per la supremazia con gli spagnoli per il Regno di Napoli.
Lasciata a destra una strada campestre che porta alla chiesa dell'Assunta o S. Maria della Luce, eretta nel 1300 sul precipizio della gravina, si entra nel centro storico per la passeggiata dedicata a Rodolfo Valentino, nome d'arte di Rodolfo Guglielmi, il divo che qui nacque a fine '800. I quartieri Sacco e Muricello compongono un centro storico di netta impronta medievale. La Cattedrale, eretta nel 1220 (lo ricorda il campanile tardo-romanico), fu riedificata nel XVIII secolo. Il vicino Palazzo Vescovile custodisce un bel polittico cinquecentesco (Madonna con Bambino e santi) di Gerolamo da Santacroce.
La vita pubblica e privata del grande attore di Castellaneta è raccontata nel Museo Rodolfo Valentino, nell'ex convento di S. Chiara.
Gli immediati dintorni di Castellaneta sono ricchi di emergenze artistiche. A sudovest, lungo la strada per il monte Santa Trinità (m 411), da cui si gode di un bel panorama, sono la chiesa e il convento di S. Francesco, costruiti nel '400 e rimaneggiati nel '600. Affreschi di primo '700 decorano la navata centrale; più antichi (XVII secolo) quelli alle pareti del chiostro.
Ai confini del territorio comunale verso Gioia del Colle è la gravina del Porto, dove 'convivono' un dolmen, un villaggio peuceta del VI-V secolo a.C., un insediamento rupestre e una masseria. La gravina di Coriglione accoglie il borgo rupestre di Santa Maria di Costantinopoli; la gravina di S. Stefano l'omonimo villaggio ipogeo.