Le sue viuzze e le sue piazze intime e raccolte sono gli scenari prediletti da molti cineasti lettoni per le pellicole di soggetto storico. Questo, e molto altro, fa di Kuldiga la cittadina più pittoresca del Paese.
Adagiata alla confluenza dei fiumi Alekšupite e Venta, fu antico insediamento dei curoni e in seguito fortezza dell'Ordine di Livonia, chiamata con il suggestivo nome di Goldingen, o “città d'oro”. Città anseatica nel XV secolo e capitale del ducato di Curlandia nel XVI, il trasferimento della residenza del duca a Jelgava e le devastazioni della Grande guerra del Nord (inizio XVIII secolo) ne interruppero per sempre lo sviluppo, preservandola dall'industrializzazione, da un'eccessiva urbanizzazione e consegnandola pressoché intatta e medievale al XXI secolo.
La piazza del municipio, sulla quale prospettano begli edifici di epoche e stili diversi, è il cuore del centro storico. Si ammirano il municipio vecchio, in legno, e quello nuovo, dalle curiose linee rinascimentali. Seguono edifici a graticcio, la casa patrizia in legno più antica della cittadina e la chiesa luterana di S. Caterina. Scendendo al fiume si hanno bellissimi scorci sul bel ponte in mattoni sul Venta, fatto saltare dai russi in ritirata durante la prima guerra mondiale, è stato restaurato nel XX secolo. A sud del ponte è una diga, ricostruzione ottocentesca dell'originale; in questo punto le acque dell'Alekšupite confluiscono nel Venta, formando una cascata che, pur dal salto non impressionante (2.5 metri), ha un fronte lungo 150 metri, tra i più ampi d'Europa.