この八耳堂は、真言宗の寺、金輛山無量院金蔵寺の仏堂で、太子堂とも呼ばれています。
本尊は、聖徳太子（厩戸皇子）をまつり、保元年間(1156〜1158)に建立されたといわれていますが、現在の建物は、文政3年5月再建したものです。
この奥手に軍荼利神社があって、鎌倉時代の建仁2年(1202)に飯能地方の武士、大河原四郎氏が創建したといわれています。
大河原氏は、この地方の殿屋敷と呼ばれる場所に居住して、この社の南方に位置す龍崖山に砦を造って非常に備えるとともに、金蔵寺とこの神社を厚く信仰したといいます。この紳社は、天和2年(1682)年に火災にあったのちに再建されました。