Il palazzo è stato riedificato fra 1616 e 1620 dal nobile Giovanni di Audino Salmatoris, che si era arricchito a Lione nel commercio delle seta. Nel 1631, mentre la peste e la guerra infuriavano, a Palazzo Salmatoris trovarono rifugio Vittorio Amedeo I di Savoia e la moglie Cristina di Francia. Qui, nello stesso anno, fu conclusa la pace per la successione al Ducato di Mantova, e nel 1706 trovò riparo la Santa Sindone, decorosamente alloggiata nella saletta "del silenzio"