谷戸城の歴史は古い。逸見冠者黒源太清光(源清光)の築城に始まると伝えられているのである。そしてこの清光が甲斐源氏の祖となり、その子孫は甲斐国内に勢力を伸長し、戦国期にはその一流の武田氏が戦国大名として四隣に武威を示すに至るのである。言うなれば谷戸城はその原点となった城といえる。

さて清光である。清光の父義清は八幡太郎義家の弟新羅三郎義光の次男または三男とされ、常陸国の武田郷を父義光から譲り受けて武田冠者を名乗った。そして嫡男清光は武田郷に生まれ、十五歳で元服二十一歳の時に境界線争いでの濫行を朝廷に訴えられ、甲斐国へ父義清と共に配流となったとされる。大治五年(1130)のことである。

義清、清光父子は甲斐国八代郡市川荘(西八代郡市川三郷町)に館を構えた。その後、八ヶ岳南麓の逸見荘(北杜市)へ進出して清光は逸見冠者を名乗った。清光は多くの男子に恵まれ、それぞれ国中地方に進出して逸見氏、武田氏、加賀美氏、安田氏、浅利氏といった甲斐源氏の諸支族の基となった。

ところで清光創築と言われる谷戸城であるが、戦国期に至るまで明確な文献資料が無いらしい。唯一、「吾妻鏡」の治承四年九月十五日条に武田信義と一条忠頼が源頼朝の使者北条時政と「逸見山」にて会見したとあり、この逸見山が谷戸城に比定されているのである。ただ、異論もあるので確定的ではない。

天正十年(1582)、武田氏滅亡、そして本能寺の変、その後甲斐は徳川家康と北条氏直の争奪の渦中におかれた。天正壬午の乱である。家康は新府城に本陣を置き、氏直は若神子城(北杜市)を本陣とした。双方対陣が続くなか氏直は周辺諸城に兵を置き、徳川勢との一戦に備えた。谷戸城もこの時に後北条勢が布陣して土塁などの改修が進められたものとみられている。