Die Frontbreite betrug ca. 3,8 Meter. Das Haus Goldenes Schwert wurde um 1584 auf dem Gelände des Nachbarhauses Rotes Schwert erbaut. Mit knapp vier Metern Breite war es ein durchschnittlich großes Haus in der Judengasse. Im Haus wohnten wie im Nachbarhaus Mitglieder der Familie Oppenheimer und seit Ende des 17. Jahrhunderts vor allem ärmere Leute. So lebten hier im Jahre 1694 fünf Familien, von denen sich zwei durch den Verkauf von "Weck" ernährten und zwei andere ausdrücklich als arm bezeichnet werden. Ein 24-jähriger Sohn ernährte seine Eltern durch den Verkauf von Kalbfellen. Außerdem befand sich ein Schulmeister mit Frau und Kind im Haus, die aus Worms stammten und sich seit über zwei Jahren ohne Erlaubnis in der Stadt aufhielten. Bei dem großen Brand von 1711 wurde das Haus zerstört und kurz darauf wiederaufgebaut. Im Jahre 1893 wurde es von der Stadt abgerissen.