Die Frontbreite betrug ca. 3,40 Meter. Das Haus Goldener Hirsch wurde 1596 gebaut. In ihm wohnte Mitte des 17. Jahrhunderts Michael Isaak Speyer, der wahrscheinlich Stammvater der bedeutenden und sehr vermögenden Frankfurter Bankiersfamilie Speyer war. Der Goldene Hirsch ist demnach als Stammhaus dieser Familie zu betrachten. Schon Michael Isaak hat es offenbar bereits zu Ansehen und Wohlstand gebracht. Er bekleidete in der Jüdischen Gemeinde das Amt eines Vorstehers, das typischerweise den angesehenen Familien vorbehalten war. Nach seinem Tod 1692 scheint er ein so großes Vermögen hinterlassen zu haben, dass seine Witwe Jüttle Oppenheim von den Zinsen leben konnte. Aus den Visitationslisten des Jahres 1694 geht hervor, dass sie das Haus nach dem Tod ihres Mannes mit zwei anderen Witwen, die sich als Fremde in Frankfurt aufhielten, teilte. Nachdem sie gestorben war, scheint das Haus kurz vor dem großen Gassenbrand 1711 noch einmal umgebaut und dann von ihrem Sohn Josef Michael bewohnt worden zu sein. Spätere Nachkommen der Familie Speyer haben in anderen Häusern der Judengasse gewohnt. Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurde das Haus Goldener Hirsch dreimal zerstört. Während es nach den beiden ersten Bränden wiederaufgebaut wurde, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Das Haus verschwand dabei endgültig aus dem Frankfurter Stadtbild.