La cittadina è solitamente indicata come la 'Tebaide d'Italia' per la ricchezza dei suoi insediamenti rupestri, un tempo abitati da pastori e contadini e, nell'alto medioevo, occupati da monaci basiliani che ne fecero luoghi di ascesi e di lavoro. Domina una piana ad agrumeti e uliveti e si arrocca sull'orlo della gravina di S. Marco, che la taglia quasi in due (solo un antico ponte congiungeva la parte nuova, il borgo S. Caterina, a quella più antica, chiamata Terra).
Certamente l'area era già abitata nel Neolitico, ma la prima menzione della città risale al 971. Feudo sotto gli angioini di Oddone di Soliac, solo con gli aragonesi conobbe un certo sviluppo urbanistico. Saccheggiata dai francesi nel 1494, fu per lungo tempo nelle mani della famiglia degli Imperiali.
Caratteristica è l'esistenza di numerose abitazioni ipogee, le cui aperture danno su una corte anch'essa sotto il livello stradale ('vicinanza').