Le second cimetière est ouvert en 1799 sur un terrain acheté au-delà de la porte Saint-Jean, entre le presbytère Saint-Léon et l'actuel 8bis rue de la Commanderie. Il est progressivement abandonné à partir de 1840 lors des travaux qui conduisent à l'ouverture de la rue du Faubourg Saint-Jean (actuelle rue Foch). Son usage est interdit le 31 août 1843 (arrêté du maire). La maison du gardien est vendue en 1855. Les terrains restant sont vendus en 1872. Les tombes sont exhumées (suite à la proposition de la mairie par courrier du 4 janvier 1866), les corps transférés au nouveau cimetière et une stèle de 1790 (famille Ber Isaac Berr) est transférée au musée lorrain. La fermeture du cimetière suscite l'opposition du Consistoire de Nancy dont le président démissionne.
En 1883, le cimetière est agrandi et la maison du gardien est restaurée à son tour par l'architecte Boudot en 1884. Après la seconde guerre mondiale, est érigée à l'entrée un monument du souvenir rappelant les disparitions tragiques des membres de la communauté victimes de la Shoah.
En 1987, lors du bicentenaire de la création de la synagogue de Nancy, vingt enfants ont planté vingt arbustes en mémoire des enfants juifs morts en déportation (les plus jeunes avaient trois ans).