滝谷城に関わるものとして滝氏や中山氏の名が城館資料に挙げられているが、何れも確実なものではないらしい。他にはこの西郷地域に多くの所伝を残している西郷氏や石谷氏に関わる城ではなかったかとも思われるが、これも確たるものではないようだ。しかしながら、石谷氏(西郷氏)がこの地域の有力者であったことは事実で、ここから900mほど南の美人谷城とともにこの滝谷城もその影響下にあったものとも思われる。

　石谷氏と西郷氏は別ものというわけではなく、時代によって両方の姓を名乗り分けていたもので、同一系のものである(三河西郷氏とは関係ない)。

　戦国時代、戦国大名今川義元に属していたことが知られているのは西郷政清という土豪である。今川氏が氏真の代になってその力が弱まると、三河の徳川家康が遠江に進出して来た。この時、政清は郷士十八人を率いて今川氏を見限り、家康のもとに参じている。永禄十二年(1569)頃のことで、この時に西郷を改め石谷を称したとされている。

　郷士十八人の長ということであるから、小勢力ながらもここ西郷地域を拠り所としていたわけである。山上に砦もしくは物見台程度のものを築いていたとしてもおかしくはない。

　滝谷城の遺構状況は後世の地形改変もあったものと思われるが、概ね自然地形を生かした単純なもののようであり、技巧的な土塁や堀、虎口といったものは見られない。やはり、小勢力なりの見張所、または避難所的なものであったように思われる。