Als man 1761 die Häuser der Gasse nummerierte, wurden die drei Hinterhäuser Gemse, Luchs und Münze sowie das Vorderhaus Stadt Günzburg zu einer Einheit zusammengefasst und mit der gemeinsamen Hausnummer 43 versehen. Von diesen vier Häusern wurde zuerst das Hinterhaus Gemse erbaut, das bereits um 1550 errichtet worden war. Damals war es mit circa sechseinhalb Metern Frontbreite ein für die Judengasse relativ großes Gebäude. Erbauer des Hauses war Simon zur Gemse, der in der Mitte des 16. Jahrhunderts lebte. Er war aus der Ortschaft Günzburg an der Donau nach Frankfurt eingewandert. Simon war ein bedeutender Handelsmann und galt als sehr gelehrt. Von besonderer Bedeutung ist, dass er auf seine Kosten bei dem bekannten Baseler Buchdrucker Ambrosius Frobenius einen Neudruck des Talmuds besorgen ließ. Nach Simons Tod im Jahre 1582 wurde das Haus Gemse zwischen 1595 und 1608 mehrfach umgebaut. Dabei wurde es erheblich verkleinert, da es seinen Platz mit den drei genannten anderen Häusern und dem unmittelbar vorne an der Gasse gelegenen Nachbarhaus Handschuh teilen musste. Simons Nachkommen zogen teilweise in das neu erbaute Vorderhaus. Dieses Haus wurde nach der Stadt benannt, aus der Simon gekommen war, also Günzburg. Auch die Nachkommen von Simon hatten diesen Namen als Familiennamen angenommen. Bei dem großen Brand in der Judengasse im Jahre 1711 wurden die Häuser Günzburg, Luchs, Gemse und Münze zerstört und anschließend wiederaufgebaut. Nach der Emanzipation der Jüdinnen und Juden wurden sie im Jahre 1843 von der Stadt übernommen und später abgebrochen.