Die Frontbreite betrug ca. 3,8 Meter. Das Haus Schwert wurde um 1538 von Isaac aus Nauheim auf einem Gelände erbaut, das zum benachbarten Haus Wolf gehörte. Isaac erhielt im Jahre 1530 die Stättigkeit, als er die Tochter des Majer Scheinfeld aus dem Haus Wolf heiratete. Daraufhin errichtete er sich diesen Neubau. Das Hauszeichen stellte ein aufrecht stehendes Schwert dar und war in roter Farbe gemalt. Als im Jahre 1584 von diesem Haus das Haus Goldenes Schwert abgeteilt wurde, erhielt es zur besseren Unterscheidung den Zusatz Rotes Schwert. Von 1550 bis 1700 lebten hier Mitglieder der Familie Oppenheimer und der Stammvater eines Familienzweiges Mosche zum Schwert. Er war Tuchhändler und zählte im Jahre 1590 zu den Höchstbesteuerten der Jüdischen Gemeinde. Sein Vermögen wurde auf 90.000 Gulden geschätzt. Sein Sohn Joseph Juda (Löb), der 1655 hier starb, war Vorsteher der Gemeinde und wurde auf dem Grabstein als "der Gottesfürchtige, Weise " bezeichnet. Unter den Hausbewohner*innen herrschten bezüglich der Vermögensverhältnisse und des Ansehens große Unterschiede. So wohnte im Haus auch der im Jahre 1685 verstorbene Samuel Hecht, der zwei Jahre vor seinem Tode unter dem Verdacht der Zusammenarbeit mit Kirchendieben verhaftet und aus der Stadt ausgewiesen wurde; und im Jahre 1694 heißt es in der Visitationsliste ausdrücklich, ein im Hause lebender Witwer sei "verdorben". Gleichzeitig lebte hier jedoch auch die Familie Metz, deren Mitglied Nathan bei seinem Tode 1709 als "der Vornehme, Hochgeachtete, der Tag und Nacht in der Lehre forschte" bezeichnet wurde. Bei dem großen Brand von 1711 wurde das Haus zerstört und kurz darauf wiederaufgebaut. Im Jahre 1879 übernahm es die Stadt zum baldigen Abriss.