戦国時代、戦国大名今川義元に属していたことが知られているのは西郷政清という土豪である。今川氏が氏真の代になってその力が弱まると、三河の徳川家康が遠江に進出して来た。この時、政清は郷士十八人を率いて今川氏を見限り、家康のもとに参じている。永禄十二年(1569)頃のことで、この時に西郷を改め石谷を称したとされている。
　郷士十八人の長ということであるから、小勢力ながらもここ西郷地域を拠り所としていたわけである。山上に砦もしくは物見台程度のものを築いていたとしてもおかしくはない。
　滝谷城の遺構状況は後世の地形改変もあったものと思われるが、概ね自然地形を生かした単純なもののようであり、技巧的な土塁や堀、虎口といったものは見られない。やはり、小勢力なりの見張所、または避難所的なものであったように思われる。