Die Familie Goldschmidt stammte von Mosche Goldschmidt und seiner Frau Bela ab, die sich im Jahr 1521 im Goldenen Schwan niederließen. Gleich anderen Familien, wie den Buchsbaums und Cahns, wanderten die Goldschmidts aus Nürnberg ein, wo sie 1498 Opfer der Vertreibung der Jüdinnen und Juden geworden waren. Wahrscheinlich war der Stammvater Mosche ein Goldschmied gewesen, der so seinen Namen erhielt. Im Gegensatz zu Frankfurt gab es damals in Nürnberg zeitweise die Möglichkeit für Jüdinnen und Juden, ein Handwerk zu erlernen. Ein Familienmitglied der Goldschmidts, Joseph im Pfau, übte dann in Frankfurt den Beruf des Honigkuchenbäckers aus. Der Goldene Schwan blieb über 300 Jahre lang das Stammhaus der Familie. Die Nachkommen verteilten sich jedoch auch auf viele weitere Häuser der Gasse, nach denen man verschiedene Familienzweige unterscheiden kann. Der berühmteste Goldschmidt war Josef zum Goldenen Schwan, einer der bedeutendsten Finanzmänner des 16. Jahrhunderts. Auch in den Jahren danach hat es stets angesehene Geschäftsleute in der Familie gegeben. So zählte ein Neffe des Josef, Mosche Goldschmidt zum Korb, um 1600 zu den reichsten Bewohner*innen der Judengasse. Die zahlreichen Nachkommen haben die zwei bekannten Familienzweige Goldschmidt-Hameln und Goldschmidt-Kassel gebildet.