Originariamente costruita su un tempio pagano consacrato a Milda, dea dell'amore, la chiesa dei Ss. Pietro e Paolo si incontra costeggiando il fiume Nerìs, accanto al monastero degli Agostiniani. La chiesa (1668-85) è uno dei migliori esempi di tardo-barocco lituano, preservatasi integra nel corso dei secoli perché uscita indenne dagli incendi che nel passato hanno frequentemente afflitto la città. Anche il luminosissimo interno è un manifesto artistico di questo stile, trionfo di candidi stucchi, decorazioni barocche, statue e bellissimi affreschi.