In fondo a Baznicas iela sorge la Svetas Katrinas evangeliski luteriska, chiesa luterana di S. Caterina, costruita nel 1567. Danneggiata da guerre e incendi, è stata interamente restaurata nel 1968 e al suo interno si ammirano un notevole altare maggiore in legno intagliato, risalente al 1660, e un bell'organo (996 canne) del 1712, che in epoca sovietica ha fatto di questo luogo di culto una rinomata sala concerti. Si sale sulla torre neogotica (alta 25 metri) per godere di un magnifico panorama sul fiabesco abitato di Kuldiga, dal tessuto urbano e dalle atmosfere antiche, e sul territorio circostante ammantato di boschi.