Il santuario fu fatto costruire dai Gesuiti nel XV secolo sul colle dove, dal secolo precedente, sorgeva un piccolo oratorio che conservava un'immagine della Madonna che, secondo la tradizione, sarebbe giunta miracolosamente dall'isola Eubea nel 1345. Raccoglie oltre 600 ex voto, in prevalenza offerti da marinai. Da segnalare in particolare quello dipinto da Giovanni Fattori, la cui tomba è visibile sotto il loggiato del piazzale antistante, dove sono sepolti i livornesi illustri