Jakob Baruch wurde in Mergentheim geboren. Dort war sein Vater zeitweilig als Finanzmann und Hofagent des Deutschordens tätig, bevor er dem Hochmeister des Ordens nach Bonn folgte. Jakob Baruch kam 1781 als 18-jähriger nach Frankfurt und heiratete Julie Gumperz. Sie hatten vier Kinder, darunter den unter dem Namen Ludwig Börne bekannten Publizisten. Jakob Baruch war als Bankier tätig und betrieb im Haus zum Rost ein Wechselgeschäft. Innerhalb der Frankfurter Jüdischen Gemeinde übernahm er zahlreiche Aufgaben und entwickelte sich zu ihrem Vertreter gegenüber der Obrigkeit. So vertrat er seine Gemeinde im Jahre 1803 beim Reichstag in Regensburg, wo er sich vergeblich dafür einsetzte, dass auf der Frankfurter Messe Handelsbeschränkungen für Jüdinnen und Juden aufgehoben würden. Im September 1814 wurde er gemeinsam mit Jsaac Jakob Gumprecht vom Vorstand der Gemeinde als Delegierter zum Wiener Kongress entsandt, um dort jüdische Interessen bei den Verfassungsverhandlungen zu vertreten. Man hoffte, dass auch seine guten Kontakte, die er über seine Familie zum österreichischen Hof hatte, nützen würden. Es gelang ihm auf dem Kongress jedoch nicht, die im Jahre 1811 zeitweilig bereits erreichte Gleichstellung der Frankfurter Jüdinnen und Juden zu sichern. Erst neun Jahre später, im Jahre 1824 erlangten die jüdischen Bürger*innen Frankfurts nach langen Auseinandersetzungen zwischen dem Rat, der Stadt und der Gemeindevertretung die privatrechtliche, jedoch nicht die politische Gleichstellung. Mit seinem unermüdlichen Einsatz wurde Baruch ein wesentlicher Anteil an diesem Erfolg zugeschrieben, das ihm angebotene Geldgeschenk der Gemeinde lehnte er jedoch ab.