三吉稲荷神社は、昭和9年11月に飯能出身で東京に住む小山庄次郎が建立したもので、倉稲魂神、猿田彦命、大宮女命がまつられています。
小山庄次郎は、米穀問屋を営むかたわら、稲荷様を厚く信仰し、飯能市内にある久下稲荷神社と秋葉神社(通称三丁目稲荷)の分身を敷地内に安置し、守護神とするほどでありました。しかし、商売が思うように伸びないので、知人である銀杏八幡の神主、渡辺綱吉に相談したところ、稲荷様を出身地の飯能市にまつることがよいと進言されました。
そこで庄次郎は、稲荷神社の本社である京都の伏見稲荷大社と、その近くの稲荷山の三吉稲荷の分身をまつり当社を建立したといいます。