Das Haus Hirsch wurde 1594 auf einem Geländestreifen errichtet, der ursprünglich zum Nachbarhaus Rebstock gehörte. Das Haus Hirsch lag nicht direkt an der Gasse, sondern hinter dem Haus Rebstock. Über seine Bewohner*innen ist nicht viel bekannt. Um 1700 wurde es unter anderem von einem Schulmeister bewohnt. Im gleichen Haus wird in den Visitationslisten von 1694 auch ein 14-jähriger Junge genannt, der ihm offenbar als Hilfskraft zur Verfügung stand. Von ihm heißt es, er informiere Kinder. In der zweiten Hälfte des 18. Jahrhunderts waren Nachkommen der bekannten Familie Oppenheim hier ansässig. Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurde das Haus Weißer Hirsch dreimal zerstört. Während es nach den beiden ersten Bränden wiederaufgebaut wurde, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Das Haus verschwand dabei endgültig aus dem Frankfurter Stadtbild.