Das Haus Wechsel wurde 1579 erbaut. An seiner Stelle führte zuvor ein Wechsel, also ein Weg, abwärts zum früheren Stadtgraben. Danach wurde dann der Hausname gebildet. Die Bewohner*innen dieses Hauses waren teilweise verwandtschaftlich mit der Familie Cahn im Haus zur Pforte verbunden. Auch ein Mitglied der Familie Kulp, einer der reichen und angesehenen Familien unter Frankfurts Juden, hat hier gewohnt. Die Familie Kulp war führend bei jenen heftigen Machtkämpfen innerhalb der jüdischen Gemeinde um 1750, die als die sogenannten Kulp-Kannschen Wirren in die Stadtgeschichte eingegangen sind.
Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurde das Haus Wechsel dreimal zerstört. Während es nach den beiden ersten Bränden wiederaufgebaut wurde, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Das Haus verschwand dabei endgültig aus dem Frankfurter Stadtbild.
Das Grundstück der Häuser Judengasse 5-11 wurde 1809 von Joseph Oppenheimer erworben und in klassizistischem Stil neu bebaut (Haus Nr. B XVI). Das Grundstück der ehemaligen Vorderhäuser wurde dabei teilweise zur Verbreiterung der Straße verwendet. 1847 in Bornheimer Straße 17, 1885 in Börnestraße 45 / Fahrgasse 144 umbenannt. 1944 zerstört. Neubebauung auf stark verändertem Grundriss als Haus Fahrgasse 94. Ursprünglicher Eingang im Haus Zeil 57.