高天神城の北4.4kmほどの山上に岩井寺砦がある。

ここには聖武天皇の勅願による行基上人によって天平十三年(741)に開山となった寺院があり、弘仁の頃(810-24)に空海が立ち寄って真言密教の道場となった。応永九年(1402)、足利義満の時代に佐束山岩井寺と名を改め現在に至り、遠江三十三番(観音霊場)打留札所である。

この寺院の本堂の周囲三方が大土塁地形によって囲まれており、城砦化されている。しかしながら城砦化の時期や城主の名前などは伝えられておらず、不明とされている。城館資料には高天神城支城群のひとつとあるのみで具体的なことは記されていない。

戦国期、高天神城は小笠原長忠(信興)が城主となって周辺地域に睨みを利かせていた。永禄十一年(1568)になると遠江には東西から徳川家康と武田信玄が兵を進め、両者による抗争が激しくなりつつあった。支城群のひとつ小笠山砦は今川氏真の逃げ込んだ掛川城を攻めるために徳川家康がいち早く占有して陣を置いた。

この時、小笠原長忠は今川氏を見限り、家康に従うことになった。小笠山砦と峰続きの岩井寺砦には徳川の一隊が入ったかもしれない。

元亀二年(1571)、武田信玄は駿河から大井川を越えて遠江に侵攻した。高天神城に迫った信玄は城外の小笠原勢を駆逐して城攻めすることなく兵をまとめて北へ向かい、掛川へ抜けた。寺伝によれば甲州武田軍の度々の乱入により七堂伽藍のすべてを焼失したとある。この時、北上する武田勢によって焼かれた可能性は大いにありそうなことである。その後、信玄は飯田城、天方城、犬居城などを支配下に置いて甲斐に戻って行った。

慶長年間(1596-1615)、横須賀城主大須賀康高が帰依して伽藍を寄進したとのことである。

現在、岩井寺を訪れると立派な朱塗りの山門が迎えてくれる。山門の右手(北東)には観音堂が建っている。曲輪跡とみてもよさそうである。観音堂入口北側には切通があり、堀切跡と紹介するHPもある。