Die Frontbreite betrug ca. 3,10 Meter. Das Haus Apfelbaum entstand in der zweiten Hälfte des 16. Jahrhunderts, als das Nachbarhaus Buchsbaum dreigeteilt wurde. 1620 erhielt das Haus noch ein Hinterhaus. Um die baugeschichtliche Zusammengehörigkeit der Häuser kenntlich zu machen, erhielten sie als Hausnamen alle einen Baumnamen. So wurde das Hinterhaus des Hauses Apfelbaum nun Dattelbaum genannt. Diese beiden Häuser wurden insbesondere von der Familie Goldschmidt-Kassel bewohnt. Sie verteilte sich über mehrere Häuser in der Judengasse, vor allem war sie mit dem Nachbarhaus Buchsbaum, von dem ja das Haus Apfelbaum abgetrennt worden war, eng verbunden. Die Familie Goldschmidt-Kassel lebte vom Warengroßhandel, vor allem mit Tuch, und von Geldgeschäften. Sie gehörte zu den wohlhabendsten Familien der Frankfurter Jüdinnen und Juden. Bei den großen Bränden in der Judengasse in den Jahren 1711, 1721 und 1796 wurden die Häuser Apfelbaum und Dattelbaum dreimal zerstört. Während sie nach den beiden ersten Bränden wiederaufgebaut wurden, entschied man sich nach dem Brand von 1796 für eine großzügige Neugestaltung des gesamten nördlichen Gassenareals. Die Häuser verschwanden dabei endgültig aus dem Frankfurter Stadtbild.
Das Grundstück der Vorderhäuser Judengasse 169-173 wurde 1809 von Hayum Schuster erworben und in klassizistischem Stil neu bebaut (Haus Nr. B VII). 1847 in Bornheimer Straße 4, 1885 in Börnestraße 44 umbenannt; 1944 zerstört. Neubebauung auf verändertem Grundriss als Haus An der Staufenmauer 14.
Das Grundstück der Hinterhäuser wurde 1809 ebenfalls von Hayum Schuster erworben und in klassizistischem Stil neu bebaut (Haus Nr. B VIII); 1847 in Allerheiligenstraße 77 umbenannt; 1944 zerstört; heute Kurt-Schumacher-Straße 45.