Fünf sogenannte Kastenherren bildeten neben den Baumeistern die mächtigste Instanz innerhalb der jüdischen Gemeindeverwaltung. Sie verwalteten die Kasse der Gemeinde, auch "Kasten" genannt. Die Kastenherren waren wie die Baumeister ehrenamtlich tätig und wurden wie diese nach umständlichen Regeln vom Kreis der vermögenden männlichen Gemeindemitglieder auf sechs Jahre gewählt. Da die Amtsinhaber oft wiedergewählt wurden, fungierten sie häufig auf Lebenszeit. Sie gehörten zu den angesehensten Mitgliedern der Gemeinde. Die zwei ältesten Kastenherren führten summarisch die Bücher. Sie stellten das Budget der Gemeinde fest und bestimmten Höhe und Einzugstermin der einzelnen Steuern und Abgaben nach eigenem Belieben. Die Geschäftsführung der Kastenherren unterlag stark ihrem persönlichen Gutdünken. Ihr Gebahren war öffentlicher Kontrolle und Nachprüfung weitgehend entzogen. Sie hatten damit eine große Machtfülle. Das wurde besonders deutlich in der Person Isaak Kanns, der in der Mitte des 18. Jahrhunderts das Amt des Kastenherrn bekleidete. Er entstammte der reichsten und einflussreichsten Familie der Gasse, der Familie Kann. Als Kastenherr erlangte er eine solch dominierende Machtstellung in der Judengasse, dass es unter Führung der Familie Kulp zu einer Rebellion gegen ihn kam. Sie ist als Kulp-Kannsche Wirren in die Geschichte der Frankfurter Jüdinnen und Juden eingegangen.