Sorge a lato della Cattedrale di S. Maria Assunta e si presenta, dopo i recenti restauri, come uno dei più eleganti edifici dell'architettura barocca del XVIII secolo a pianta centrale nella Liguria orientale.
L'attuale edificio è frutto del completo rifacimento barocco di un Oratorio più antico risalente, si pensa, alla seconda metà del XV secolo. È in questo periodo che la Confraternita di S. Girolamo ottiene dai Domenicani, trasferitisi nel vicino convento di città, un terreno nei pressi della Cattedrale per erigervi un proprio Oratorio.
La Confraternita è tra le prime e più antiche di Sarzana, si hanno notizie dal 1470. Ancora al tempo della visita apostolica di mons. Peruzzi (1584) contava oltre sessanta iscritti e inoltre risultava aggregata all'Arciconfraternita della SS. Trinità in Roma.
Nel XVI secolo il nuovo Oratorio ha pianta quadrangolare con un unico altare per il quale viene commissionata una pala in terracotta policroma invetriata raffigurante S. Girolamo nel deserto; quest'opera è variamente assegnata dalla critica alla bottega di Giovanni Della Robbia o di Benedetto Buglioni e se ne colloca la realizzazione nei primi anni del Cinquecento.
L'opera è stata tolta dal sito originario nel 1903, restaurata a Firenze e ricollocata nel transetto destro della Cattedrale, dove oggi si può ammirare.
Così il visitatore apostolico mons. Peruzzi nella già citata visita del 1584 trova l'edificio "satis bene", ancora con un unico altare ma ben fornito di tutto il necessario, compresi tutti i paramenti liturgici.
Nuove notizie dell'Oratorio ci giungono dalle visite pastorali successive: da quella di mons. Noselli (1699) si ha notizia di un secondo altare dedicato al Crocifisso, mentre da quella di mons. G.B. Spinola (1710) si sa che è stato eretto un terzo altare dedicato alla B.V. di Loreto. A questo momento storico risale la più radicale trasformazione dell'edificio, che lo porterà dalla primitiva forma quadrangolare a quella ellittica che oggi vediamo. Dopo alcuni decenni i lavori dovevano essere conclusi, se il vescovo Della Torre nella sua visita all'Oratorio nel 1733 lo trova costruito in "eleganti forme". Ancora oggi possiamo così ammirarlo nella sua pianta ellittica, coperto da cupola e sviluppantesi lungo un asse principale ingresso-altare maggiore, a cui si interseca ortogonalmente l'asse minore che collega i due altari laterali: a destra quello della B.V. di Loreto, a sinistra quello del Crocifisso.
Il tempo, gli agenti atmosferici e restauri affrettati (1966) non hanno alterato l'impianto fastoso dell'interno dove coppie di paraste fiancheggiano le cappelle degli altari e le nicchie fra di essi, andando poi a sorreggere una doppia trabeazione sopra la quale sono le aperture che, ora centinate, ora ovali, immettono luce all'interno. Dopo questo piano termina l'architettura ed inizia il grande affresco della cupola nella quale si prolunga, con il disegno ed il colore, l'andamento architettonico sottostante.
Infatti subito dopo le finestre corre, affrescata, una balaustra a colonnine dietro cui si affaccia una loggia a pilastri, con colonne, fiancheggianti arcate poste in corrispondenza delle sottostanti. Sopra questa scenografica loggia irrompe una folla festosa di Angeli che trionfalmente circondano Dio Padre in gloria. Nonostante l'usura ed i ritocchi l'affresco conserva tutte le caratteristiche originarie che ne fanno una splendido saggio decorativo della scuola genovese del primo settecento, nell'ambito dei Piola o dei De Ferrari.