L'immagine della Madonna con il Bambino fu dipinta (presumibilmente nella prima metà del sec. XV) su un muro della pubblica via, verso l’Ospedale di S. Bartolomeo. Chi transitava e chi si recava all'Ospedale (che allora era luogo di sosta per pellegrini più che ricovero di malati) rivolgeva preghiere all'immagine; presto si diffuse la voce che operasse miracoli, perciò venne chiamata Madonna delle Grazie.
Dapprima venne edificata una piccola Cappella per proteggerla, poi per onorarla adeguatamente venne trasferita nella Chiesa dei Padri Domenicani. Dopo varie traversie e dopo che se ne erano perse le tracce, l'immagine ricomparve e venne collocata nella Chiesa di S. Andrea, ove si trova tuttora.
Come era costume del Medioevo, in segno di devozione lungo le vie di transito sorgevano edicole (o maestà) in cui erano riprodotte per lo più immagini della Madonna. Quella giunta a noi è stata dipinta presumibilmente nella prima metà del sec.XV sul muro della via che portava all'Ospedale di S. Bartolomeo, nei pressi della Chiesa di S. Maria Nuova (l’odierna Cattedrale). Maria, con atteggiamento materno presenta Gesù Bambino che le cinge il collo e ha nella mano destra una piccola rondine.
Dapprima era detta Madonna della Via, o dell'Ospedale oppure del Muro. Intorno al 1480 si diffuse la voce che per sua intercessione si ottenessero grazie, perciò venne chiamata Nostra Signora delle Grazie. Per proteggere l'immagine e per consentirne la venerazione venne edificata una piccola Cappella, ma questa parve subito troppo angusta, perciò l'immagine venne staccata dal muro (senza danneggiarla) e trasferita nella vicina Chiesa dei Padri Domenicani che sorgeva dove oggi è il Teatro degli Impavidi. Questo avveniva tra il 1480 ed il 1486.
Le notizie successive risalgono al 1584 e si trovano negli atti della visita Apostolica, in cui si riferisce che l'immagine è in un sotterraneo della Chiesa, collocata presso un altare non adeguato né sufficientemente decoroso.
Per trovare altre notizie bisogna arrivare al 1675, anno in cui la Signora Anna Magni-Griffi obbliga per testamento il figlio ad edificare nella Chiesa dei Domenicani una Cappella simile a quella del Santuario del Mirteto di Ortonovo, per onorare l'immagine di Nostra Signora delle Grazie.
Poi non si hanno più notizie. Si attraversano così periodi burrascosi, gli anni della rivoluzione francese ed il periodo napoleonico: i Domenicani furono cacciati da Sarzana e il convento fu distrutto. Nel luogo della Chiesa fu costruito un teatro, l’odierno Teatro degli Impavidi.
Non sono documentate le traversie dell'immagine della Madonna delle Grazie, si sa soltanto che nel gennaio 1815 fu consegnata dalla Signora Maddalena Cecchinelli ne' Conti De Benedetti al cappellano di S. Andrea per essere esposta alla venerazione dei fedeli e perché fosse istituita in suo onore una festa speciale. L'autorità ecclesiatica scelse la seconda domenica dopo Pasqua.
Sopra l'altare in cui era stata collocata l'immagine sacra, al centro dell'abside, era stata posta la scritta "Maria fons gratiae et totius consolationis".
Da allora ci sono stati vari interventi di restauro ed infine l'immagine è stata collocata ove si trova oggi, a sinistra dell'abside.