大沢城主であった波多野氏の先祖は平安末期に相模国波多野荘(秦野市)を拠点としてその周辺に勢力を拡大し、波多野を称した藤原義通にはじまる。義通は平将門の乱討伐の功により武蔵守鎮守府将軍となった藤原秀郷から十代の後裔にあたる。この義通から九代目の行近が相模国を去って三河国御津庄森下村に来住、御津庄司森下三郎と称して大沢山の東南要害の当地に居城を構えたという。応永二十二年(1415)の御津神社棟札に行近の子太郎近吉の名が見えることから波多野氏の森下来住は室町初期の頃と思われる。
　近吉の五代目上野介政家は細川氏に仕えた。三河守護が一色氏から細川氏に替わった頃のことで、応仁の乱(1467)では政家の弟蔵人信光が洛中合戦にて討死している。
　その後、戦乱は11年におよび、文明九年(1477)に至って京都における争いは西軍山名方の撤収で終わりを告げた。この当時の波多野氏当主は政家の曾孫である全慶時政であった。時政は牛久保に城館(一色城)を構えて近隣の土豪を支配していた一色刑部少輔時家の家臣であったようだが母が細川氏の出であったこともあり、細川氏との関係も密接なものであった。中央における争いが東軍細川方の勝利に終わったことを受けて、西軍山名方に付いていた旧守護家の一色氏の三河における勢威は地に落ちたと言えよう。こうした状況のなかで細川氏の権威を後ろ盾にした全慶時政は挙兵して一色時家討伐に踏み切ったのである。両者は灰塚野(場所不明・一色城の近くとされる)に戦い、波多野全慶時政が主人一色時家を討って勝利した。
　主人を倒した全慶時政は自ら一色刑部少輔全慶と名乗り、一色時家の遺領を我が物として一色城に入ったと言われる。まさに下剋上そのものである。
　しかし、そうした状況を甘受する者達ばかりではない。一色時家に仕えていた牧野古白成時(瀬木城主)が全慶時政に挑んできたのである。明応二年(1493)、両者は灰塚野に激突して牧野氏の勝利に終わった。その後は牧野氏が東三河の実力者として台頭し、吉田城(豊橋市/築城時は今橋城と呼ばれた)を築いて渥美郡にまでその勢力を拡げている。