Das Haus Wechsel wurde 1579 erbaut. An seiner Stelle führte zuvor ein Wechsel, also ein Weg, abwärts zum früheren Stadtgraben. Danach wurde dann der Hausname gebildet. Die Bewohner*innen dieses Hauses waren teilweise verwandtschaftlich mit der Familie Cahn im Haus zur Pforte verbunden. Auch ein Mitglied der Familie Kulp, einer der reichen und angesehenen Familien unter Frankfurts Juden, hat hier gewohnt. Die Familie Kulp war führend bei jenen heftigen Machtkämpfen innerhalb der jüdischen Gemeinde um 1750, die als die sogenannten Kulp-Kannschen Wirren in die Stadtgeschichte eingegangen sind. Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurde das Haus Wechsel dreimal zerstört. Während es nach den beiden ersten Bränden wiederaufgebaut wurde, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Das Haus verschwand dabei endgültig aus dem Frankfurter Stadtbild.