Die Frontbreite betrug ca. 5 Meter. Das Haus Weiße Lilie wurde 1505 erbaut. Es war in den annähernd 300 Jahren seines Bestehens Wohnhaus für zahlreiche Familien. Eine von ihnen nahm den Namen des Hauses als Familiennamen an und nannte sich "Lilg". Sie gehörten wie viele der Bewohner*innen der Häuser im Nordteil der Judengasse zu den wohlhabenden Schichten unter Frankfurts Jüdinnen und Juden. Um 1700 waren die hier ansässigen Familien als Tuchhändler und Wechsler tätig.
Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurde das Haus Weiße Lilie dreimal zerstört. Während es nach den beiden ersten Bränden wiederaufgebaut wurde, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Das Haus verschwand dabei endgültig aus dem Frankfurter Stadtbild.
Das Grundstück der Vorderhäuser Judengasse 181-183 (wurde 1809 von Jakob Zunz und Isaak Salomon Zunz erworben und in klassizistischem Stil neu bebaut (Haus Nr. B IV). 1847 in Bornheimer Straße 10, 1885 in Börnestraße 50 umbenannt. 1944 zerstört. Neubebauung auf stark verändertem Grundriss als Haus Zeil 53.
Das Grundstück der Hinterhäuser Judengasse 181-183 wurde 1809 von Isaak Joseph Ullmann und Isaak Daniel Stiefel erworben und in klassizistischem Stil neu bebaut (Haus Nr. B XII); 1847 in Allerheiligenstraße 85 umbenannt; 1944 zerstört; heute Konstablerwache vor Zeil 53.