横山城を築いた興津氏は平安後期に藤原氏の支流で駿河国有度郡を本貫とした入江氏の一族が興津に土着して在名を称したのに始まるという。鎌倉期には地頭として地域に勢力を張り、居館(興津館)は現在の清水区興津本町にあった。

　南北朝の争乱期である延文年間(1356-61)になると興津美作守が身延街道を押える当地に山城を築き、山麓に居館を構えたと言われる。また、今川氏が守護として駿河に入部してくるとその被官となり、この横山城は興津氏代々の居城として戦国期に至ることになる。

　大永五年(1525)には連歌師宗長が横山城の興津氏館を訪問したことが記されている。この頃の興津氏として左衛門尉盛綱、彦九郎清房、美濃守久信、藤兵衛尉正信といった名が、天文年間(1532-55)には左衛門尉清房、美濃守信綱の名が見えるという。また、永禄期(1558-70)に興津摂津守が海賊衆であったと見られている。

　駿遠三を領した戦国大名今川義元が桶狭間合戦に斃れた後、今川氏真にその版図を維持する力量はなく、今川氏は斜陽の一途をたどっていた。こうした状況のなかで、かねてより海を欲していた甲斐の武田信玄が今川氏の弱体化に付け込んでついに腰を上げたのである。

　永禄十一年(1568)十二月、信玄率いる武田の大軍が駿河に進攻した。今川氏真は二万の軍勢を率いて興津川西岸八木間付近に展開させ、自らは清見寺に本陣を置いた。今川方先鋒庵原安房守の千五百が興津川沿いに南下してくる武田勢と衝突激戦となったが壊滅状態となって後退した。これを見た今川の諸将は浮足立ち、氏真の本陣を置き去りにして敗走する有様であったという。

　興津河原の緒戦で勝利した信玄はここ横山城を接収すると一気呵成に駿府を攻略した。氏真は命からがら駿府を脱して遠江国掛川城に逃げ込んだ。

　年が明けて永禄十二年(1569)正月、相模の後北条氏が今川救援の軍勢を駿河に進出させ、興津川東岸の薩垂(さった)山に布陣、武田勢と対峙した。

　武田勢にとって身延街道を後北条勢に押さえられることは甲斐本国との連絡を絶たれることになる。何としてでも後北条勢を興津川以東に釘付けにしておかなければならない。そのために信玄は横山城の改修強化を急がせたのである。

　横山城の改修工事は二月に完了したことが史料により確認されている。信玄はただちに兵糧を運び入れ、兵を配した。城将は重臣穴山信君であった。

　後北条勢との対峙はその後九十日間に及んだ。その間、双方積極的な攻勢に出ることは無く小競り合いに止まっていた。

　四月、信玄は久能城と横山城に籠城の兵を残して甲斐への撤収に踏み切った。これを見た後北条勢も薩垂山の陣を引き払い、蒲原城に兵を留めて相模へ撤収した。

　その後、横山城の穴山信君は江尻城主となって駿河支配を一任されることになる。横山城がその後どのようになったのかは分らないが、武田滅亡の天正十年(1582)までは武田の支城として機能していたものと思われ、のち廃城となったと言われている。