慈光寺は「都幾山慈光寺実録」によると、白鳳２年（６７３）に僧・慈訓が千手観音堂を建て、観音霊場とし、役小角も西蔵坊を設けて修験の道場を開いた。その後、鑑真和尚より教えを受け、民衆から菩薩と崇められた釈道忠によって開山された。以来、今日まで法燈を灯し続けている埼玉県唯一の寺である。この寺に伝わる大般若経１５２巻はおよそ１１１０年前に書写され、国の重要文化財となっている。

鎌倉時代になると鎌倉幕府より厚い庇護を受け、源頼朝から寺領１２００町歩を寄進され、さらに奥州平定を祈願して頼朝が「愛染明王像」を納めた事などが「吾妻鏡」に記されている。
この幕府の庇護は、将軍家・姻戚の比企遠宗の妻・比企禅尼によるところが大きかったようだ。
また秩父平氏の宗家・畠山重忠一門からは歴代の住職を輩出している。

慈光寺はかつて関東屈指の大寺院であって、山中には７５坊の僧坊があり、栄華を極めた。
だが栄朝（臨済宗）によって開かれた塔頭（たっちゅう）霊山院は健在であるが、その他、多くの僧坊は山中に跡地のみ確認されるだけである。往時の様子は慈光寺古絵図や一山絵図（１６９７）により、おおよそ伺い知ることができる。

寺伝では康正二年（１４５６）に太田道灌の軍勢に討ち入られたとある。その後、記録にはないが上田朝直（松山城主、扇谷上杉家の重臣であったが、後に後北条家の臣下となった。）によって、同じく６６坊を抱えて栄華を誇った東松山の岩殿正法寺とともに焼き打ちにあった。この時（推定１５４６〜１５５６）焼失した釈迦堂からは二層の焼土層と、室町時代の瓦が多数、出土されている。
また、後北条家の慈光寺攻めの陣城は５キロ南方の大築山・大築城といわれている。

徳川家康は江戸に入府すると、天正十九年（１５９１）、慈光寺に寺領１００石の朱印状を下付し、徳川家光は上野に寛永寺を創建すると、慈光寺をその末寺とした。将軍家、とくに桂昌院の信仰は厚かったことが、宝物殿に残る徳川家康画像、天海僧上画像の他、多くの奉納品から伺える。
中世以降、観音信仰の気運から板東観音霊場三十三ヶ寺のうち九番礼所とされたが、江戸時代にはその最盛期となった。しかし、その後も廃絶していった僧坊も多く、往時の復興をみるには至らなかった。

現在では４月１７日と４月の第２日曜日が本尊の千手観音菩薩のご開帳となっていて、多くの信者が参拝に訪れて賑わっている。