Das Steinerne Haus wurde im Jahre 1717 auf dem Grundstück erbaut, auf dem sich früher zuerst das Kalte Bad und dann das Tanzhaus befanden. Das Kalte Bad, die Mikweh wurde um 1460/62 mit der Errichtung der Judengasse gebaut. Wenige Jahre später wurde auf dieser Stelle ein Tanzhaus errichtet, das ca. 17 Meter breit war. Es gehörte der Jüdischen Gemeinde und wurde für Hochzeiten und Feste genutzt. Im Jahre 1611 wurde ein Teil des Grundstückes abgetrennt, um darauf das anliegende Wohnhaus zum Warmen Bad zu errichten. Das Grundstück mit dem Tanzhaus war nun nur noch ca. zehn Meter breit, damit war es aber im Vergleich zu den anderen Häusern der Gasse immer noch sehr groß. Bis 1711 diente das Tanzhaus auch Gemeindeangestellten als Wohnung. Es lebten hier zwei Vorsänger mit ihren Familien. Die Mikweh im Keller wurde weiterhin genutzt. Im Jahre 1711 wurde es bei dem großen Brand der Judengasse zerstört. Im Jahre 1717 errichtete der Stiefsohn des Hoffaktor Samson Wertheimber an der Stelle ein barockes Wohnhaus aus Stein. Es war das einzige Haus in der Judengasse, das aus Stein bestand und wurde deshalb "Steinernes Haus" genannt. Um den Bau dieses repräsentativen Hauses gegen den Willen des Rats der Stadt durchsetzen zu können, hatte es der direkten Intervention des Kaisers in Wien bedurft. Das Steinere Haus war eines der schönsten und eindrucksvollsten Häuser der Gasse. Obwohl es Bestrebungen gab, das Haus zu erhalten, ging es wie die übrigen Häuser in städtischen Besitz über und wurde im Jahr 1887 abgebrochen. 1987 wurden die Fundamente des Steinernen Hauses freigelegt und wiederaufgebaut. Sie sind hier im Museum zu besichtigen.