Fu una colonia di schiavoni, sul finire del X secolo, a fondare San Vito degli Schiavoni (questo il suo nome fino al 1863), con riferimento probabilmente agli slavoni, cioè i croati. Secondo un'altra interpretazione l'abitato trarrebbe origine dai normanni, in particolare da Boemondo d'Altavilla che prediligeva il luogo ricco di boschi e selvaggina: avrebbe costruito una prima torre quadrata, attorno a cui si sviluppò il castello. Tuttavia, la zona era già insediata nella preistoria. Nel medioevo il piccolo borgo cominciò a crescere, sia per la protezione offerta dalla torre normanna sia per il trasferimento degli abitanti dei vicini casali a causa delle scorrerie. Dopo i normanni appartenne agli Altavilla, ai Sambiase (XIII secolo), agli Orsini·
Del Balzo (XIV secolo; furono loro a erigere il castello, incorporandovi la torre di Boemondo), e via via ad altre casate, sino ai Dentice di Frasso.
La piazza principale è intitolata a Leonardo Leo, illustre musicista qui nato, e la chiude su un lato il castello Dentice di Frasso.
Di fondazione cinquecentesca è la maggior parte dei luoghi di culto della cittadina: su corso Leo, la chiesa di S. Maria degli Angeli, detta anche 'chiesa Vecchia' o 'delle Anime', conserva al suo interno tele del '700 e un Crocifisso ligneo del XVI secolo; in piazza Vittoria, la chiesa Madre, dedicata a S. Maria della Vittoria nella seconda metà del '500 da un manipolo di sanvitesi che aveva partecipato alla battaglia di Lepanto (tele e statue in legno e in cartapesta datano al '700-'800). La più antica di San Vito dei Normanni - a eccezione della cappella del Castello - è la sconsacrata chiesa di S. Giovanni, posta sull'omonima via, anche se è stata ampliata nel XVIII secolo (le coeve tele all'interno sono di Serafino Elmo); la via De Leo, che inizia di fronte al luogo di culto, si addentra nel dedalo di viuzze (le 'stratodde’) sviluppatesi attorno al primitivo insediamento. Nel convento dei Domenicani, in via Mazzini, ha sede l'interessante Museo della Civiltà rurale.
Lungo la statale 16, presso la stazione ferroviaria di San Vito dei Normanni (9.5 km dall'abitato), due brevi deviazioni conducono: a sinistra alla cripta di S. Biagio, una delle tante scavate nella roccia a costituire un vero e proprio agglomerato rupestre, con un ciclo di affreschi datati 1196; a destra alla cripta di S. Giovanni, con affreschi del XII-XIII secolo (pregevole il S. Michele arcangelo sull'iconostasi).