干葉の成田不動、都下の高幡不動とともに、関東三大不動の一つに数えられている高山不動尊は高貴山常楽院といい、白雉5年（654)に藤原鎌足公の第二子長覚坊上人、大和国三輪神杜の別当宝勝坊上人、藤原の臣岩田三兄弟によって開山されたと伝えられています。
霊亀2年（716)行基菩薩は、一根五木の大木を切って、五大尊明王の御尊像を彫刻して宝殿に安置したが、後に四尊が焼失し、現在はそのうちの一尊像高228・8㌢㍍の軍荼利明王立像(昭和24年国指定有形重要文化財)のみが残されています。そのほか常楽院には、絹本着色不動明王の大画像（県指定文化財）・無間の鐘(市指定文化財)をはじめ、多数の仏像など宝物があります。
また、本堂石段下には、目通り10㍍、根廻り12㍍、樹高37㍍、枝張り18㍍四方、樹齢推定8百年の大銀杏（昭和22年県指定天然記念物)があります。一名「子育て銀杏」といい、昔から産後乳の出の悪いものが、祈願すると出が良くなることからこの名がついたといわれています。
明治5年に修験道は廃宗になっていますが、春季大祭（4月15日）には火渡修法が公開され、一般参詣の入にも参加が許されています。