Das Haus Elefant gehörte zu den ältesten Häusern der Judengasse. Bereits im Jahre 1493 urkundlich erwähnt, wurde es ursprünglich als Hinterhaus an das Spital am südlichen Ende der Judengasse erbaut. Den Namen Elefant erhielt es erst später. Als das Haus Hirschhorn im Jahre 1556 davor gebaut wurde, wurde das Haus Elefant zu einem Hinterhaus. Zu Beginn diente es als Wohnstatt für den Schwarzfärber. 1499 zog der jüdische Wirt Knebel in das Haus und unterhielt hier bis zu seinem Auszug im Jahre 1508 eine Schenke. Danach bezog es ein Gelehrter mit seiner Familie, dessen Bücher von Pfefferkorn beschlagnahmt wurden. Im 17. Jahrhundert wurde das Haus durchweg von ärmeren Leuten bewohnt, so von einem Metzger und einem Lehrer, der seine Schulden nicht bezahlen konnte. Ein Lehrer und Schulklepper, der danach das Haus bewohnte, war in zahlreiche Gerichtsprozesse verwickelt. Im Jahre 1624 musste er Strafe wegen des verbotenen Apfelhandels seiner Frau zahlen und sechs Jahre später wurde er wegen "Geschlechtsverkehrs mit Christinnen" ausgepeitscht und aus Frankfurt ausgewiesen. Er musste jedoch zurückgekehrt sein, da er hier begraben ist. Bei dem großen Brand von 1711 wurde das Haus zerstört und wenige Jahre später wiederaufgebaut. Im Jahre 1843 ging es in städtischen Besitz über und wurde abgerissen.