葛山城を築いたのは駿河東部(駿東郡)に勢力を張った国人葛山氏である。平安期の藤原北家伊周(これちか)を祖とし、伊周の曾孫惟兼が葛山に住して葛山氏の祖となった。また、惟兼の兄親康は大森に住して大森氏の祖となった。

　鎌倉期には各史料に葛山氏の名が登場しており、幕府御家人であったようだが、同氏の系譜は錯綜していて嫡流の事績を明らかにすることは困難なようである。

　室町期には将軍奉公衆四番方在国衆に名が見え、将軍との繋がりを背景に駿東地域の支配を盤石なものとしていた。また、駿河守護今川氏との関係も良好で、上杉禅秀の乱(応永二十三年/1416)や永享の乱(永享十年/1438)では今川氏麾下として活躍していることが伝えられている。

　戦国期に入ると今川家の軍師として活躍した伊勢盛時(北条早雲)の伊豆進攻(延徳三年/1491)に際して葛山氏は兵を送ってこれを援け、以後は後北条氏との関係(姻戚)を深めて行く事になる。この当時の葛山氏の当主は明確ではないが氏堯であったかも知れない。この葛山城の城砦化が進められたのもこの頃ではないだろうかと思われる。

　氏堯の次代として登場するのが氏広である。氏広は早雲の子または孫と言われている。葛山氏の娘が早雲の側室となっていた関係で葛山氏を継いだのであろう。大永四年(1524)にはその名が見えると言われている。今川氏との関係も従前通りその麾下にあり、駿府に自邸を構えて勤仕していた。

　ところが、天文五年(1536)に今川義元が家督を継承すると、義元は甲斐の武田氏と同盟して河東(富士川以東)の支配に乗り出し、後北条氏との抗争に入ったのである。「河東一乱」と呼ばれるのがそれである。葛山氏は当然、後北条氏方として今川方に敵対した。この争乱の最中、天文八年(1539)頃に氏広は没した。

　次代は同族葛山貞氏の子で氏広の養子となっていた氏元である。養父氏広と共に後北条方として今川氏に敵対、天文十四年(1545)の長久保城の戦にも参戦している。結局は長久保城落城を機に後北条氏は河東から手を引き、乱は終息した。乱後、葛山氏は再び今川氏臣従することになった。

　義元亡き後、今川氏は斜陽の一途をたどり、永禄十一年(1568)同盟関係にあった武田信玄の進攻を受けるに至る。この時、葛山氏元は信玄の誘いに乗り、朝比奈信置、瀬名氏らと共に武田の陣営に加わったのである。しかし、後北条方の動きも素早く、信玄は一旦兵を退きあげざるを得なくなってしまった。駿東地域は後北条方に制圧され、氏元らは甲斐に落ち延びることになってしまった。

　元亀二年(1571)、信玄の度重なる進攻によって後北条方の深沢城が落城し、駿東は武田の支配下となった。翌年、葛山領は氏元に返還されたが、氏元自身は甲斐に留め置かれたようである。信玄は氏元に六男信貞を養子とさせ、葛山の名跡を継がせた。強引に葛山領を武田支配下に置き、葛山一族の御宿友綱を軍代として現地支配を任せたようである。

　現在見られる葛山城の二重堀切や竪堀などの遺構はこの武田氏時代に改築されたものである。

　元亀四年(1573)二月、氏元は謀反の嫌疑にて諏訪に於いて処刑されたとも、諏訪湖に入水して自殺したとも言われる。

　天正六年(1578)の御館の乱(御館)を機に武田氏と後北条氏は対立状態となり、駿東地域は戦乱の巷と化した。

　天正十年(1582)、武田氏は織田信長、徳川家康の進攻を受けて滅亡。葛山信貞は小山田信茂とともに甲斐善光寺にて自刃して果てた。

　葛山城もその後、廃城となったものと思われる。