大沢城主であった波多野氏の先祖は平安末期に相模国波多野荘(秦野市)を拠点としてその周辺に勢力を拡大し、波多野を称した藤原義通にはじまる。義通は平将門の乱討伐の功により武蔵守鎮守府将軍となった藤原秀郷から十代の後裔にあたる。この義通から九代目の行近が相模国を去って三河国御津庄森下村に来住、御津庄司森下三郎と称して大沢山の東南要害の当地に居城を構えたという。応永二十二年(1415)の御津神社棟札に行近の子太郎近吉の名が見えることから波多野氏の森下来住は室町初期の頃と思われる。

　近吉の五代目上野介政家は細川氏に仕えた。三河守護が一色氏から細川氏に替わった頃のことで、応仁の乱(1467)では政家の弟蔵人信光が洛中合戦にて討死している。

　その後、戦乱は11年におよび、文明九年(1477)に至って京都における争いは西軍山名方の撤収で終わりを告げた。この当時の波多野氏当主は政家の曾孫である全慶時政であった。時政は牛久保に城館(一色城)を構えて近隣の土豪を支配していた一色刑部少輔時家の家臣であったようだが母が細川氏の出であったこともあり、細川氏との関係も密接なものであった。中央における争いが東軍細川方の勝利に終わったことを受けて、西軍山名方に付いていた旧守護家の一色氏の三河における勢威は地に落ちたと言えよう。こうした状況のなかで細川氏の権威を後ろ盾にした全慶時政は挙兵して一色時家討伐に踏み切ったのである。両者は灰塚野(場所不明・一色城の近くとされる)に戦い、波多野全慶時政が主人一色時家を討って勝利した。

　主人を倒した全慶時政は自ら一色刑部少輔全慶と名乗り、一色時家の遺領を我が物として一色城に入ったと言われる。まさに下剋上そのものである。

　しかし、そうした状況を甘受する者達ばかりではない。一色時家に仕えていた牧野古白成時(瀬木城主)が全慶時政に挑んできたのである。明応二年(1493)、両者は灰塚野に激突して牧野氏の勝利に終わった。その後は牧野氏が東三河の実力者として台頭し、吉田城(豊橋市/築城時は今橋城と呼ばれた)を築いて渥美郡にまでその勢力を拡げている。

　全慶時政は灰塚野の戦いで敗死したとされるが、波多野氏そのものが滅びたわけではない。全慶時政の孫家次(道観入道)は尾張の織田信秀と戦い、天文五年(1536)弥勒寺峠(御津町内)で戦死している。家次の子忠基は松平清康に仕えて吉田城を攻め、永禄元年(1558)には今川義元と戦って赤根郷(同町内)にて討死。忠基の子正茂は永禄三年(1560)桶狭間合戦に討死。忠基の弟忠義の子忠重は天正三年(1575)長篠籠城戦(長篠城)にて武功を上げ、奥平信昌より三百石を賜る。というように歴史の波に翻弄されつつも懸命に生き続けた。江戸後期には森下村の庄屋、神主を務めたと言われている。

　城跡は明治の終わり頃に人手に渡るまでは堀や土塁、城塀が四方を囲んでいたと言われている。その後、土堤は破壊され堀は埋められて開発され、現在では土塁の一部を残すのみとなっている。