牧之原台地西端の棚草地域には舌状丘陵端が西に向かって三つ伸びている。北側丘陵端を「平城」、中央の丘陵端を「本城山」、南側丘陵端を「城山」と呼んでいる。いずれも城郭に関連する地名となっている。なかでも「本城山」はその南鞍部を殿之谷と呼び、長谷川屋敷、兵助屋敷の名が残り、ここが棚草城の主要部であったと思われる。

城主としての明確な存在は伝えられていない。ただ「平城」の方の丘陵部西北端の墓地に牧野家の石碑があり、その碑文には康平四年(平安時代・1061)に初代牧野與三兵衛が「棚草ニ城ス」とあり、子孫は明治にまで至って三十二代を数えている。しかし、棚草城との関係やこの地域との関わりはよく分からない。

天文二十四年(1555)、今川義元は棚草の紅林次郎左衛門、同右京亮を年貢滞納により追放処分とし、長谷川太郎兵衛や村松源左衛門尉、高林籐左衛門尉らを新たな名職としたことが伝えられている。殿之谷の長谷川屋敷跡はこの時の太郎兵衛の屋敷跡らしい。

永禄九年(1566)、今川氏真は朝比奈孫十郎に棚草への用水路掘削のための水源地として宇津梨山(現在の丹野池付近)などを安堵している。この用水は棚草の百姓たちに恵みをもたらし、住人らは今川氏真と朝比奈孫十郎を祀って崇めた。それが現在「今川さま」と呼ばれて城跡の雲林寺跡地に祠が建っている。

永禄十二年(1569)、遠江平定を推し進める徳川家康は棚草郷百貫文の地を小笠原清有に宛がっている。その後、東遠州地域は武田と徳川による高天神城をめぐる抗争の場となり、天正九年(1581)の高天神城落城までは棚草地域も武田の影響下にあったものと思われる。