佐脇氏は鎌倉期に当地を名字とした地頭であったと思われ…と現地説明板にある。また別の資料には室町初期に将軍奉公衆の佐脇氏が佐脇荘の地頭となって居住、苗字としたとある。

　奉公衆としての佐脇氏の名は「太平記」の中に見えているようで、佐脇左近大夫(貞和元年/1345)、佐脇三河守(延文五年/1360)、佐脇右京亮明秀(貞治六年/1367)といった名が記されている(()内は登場年次)。この佐脇氏とここ佐脇城との関係はよく分らないが、早くにその基盤を伊勢地方の所領に移したとされる。

　1400年代中頃、亀山城主(新城市作手)奥平貞久が勢力を拡大していて、作手三十六ヵ村と額田郡や宝飯郡の一部を領したと伝えられている。この宝飯郡の一部というのがここ佐脇のことだとされている。この当時、佐脇に居たのが生田(しょうだ)氏という額田郡出身の国人で、奥平貞久の家臣になったというのである(寛政重修諸家譜)。そして貞久は七男の定包を佐脇の領主としたという。

　時は流れて享禄二年(1529)、三河統一を推し進めようとする松平清康が東三河へ進攻した時、佐脇城主の佐脇弾正が籠城して戦い、討死したと伝えられている。この佐脇氏と南北朝期の佐脇氏との関係はあるのだろうか。そして奥平氏の佐脇支配はいつまで続いたのであろうか。天文六年(1537)の佐脇神社棟札に奥平定勝、信近、定時の名があると言われることから依然として奥平氏の影響下にあったものと思われ、佐脇氏は奥平氏の与力となったとする見方もある。

　永禄五年(1562)、今川氏から独立して三河平定を推進する松平元康(徳川家康)は今川勢を駆逐しながら東三河にその駒を進めていた。

　これに対する今川氏真は牛久保城と吉田城を東三河における最後の防衛線とし、その前衛として八幡と佐脇に砦を築いて松平勢の進攻に備えた。この佐脇の砦とはここ佐脇城のことで、今川氏真は家臣三浦左馬助義就を城将として配置した。

　この年、佐脇城は松平勢によって落とされたが、しばらくして再び今川勢によって奪還されたとされる。

　永禄七年(1564)、国内の一向一揆を鎮めた松平家康(元康改名)は再び東三河に兵を進め、佐脇城を落として佐脇刀祢太夫を城主とした。この佐脇氏、どのような経緯で家康の家臣となったのか、よく分らない。

　この佐脇刀祢太夫が最後の城主とされ、彼は天正三年(1575)の長篠合戦で奥平氏に従軍、討死してしまった。その後、佐脇城は廃城となったらしい。

　徳川家臣となった佐脇氏は天正十二年(1584)の長久手合戦に出陣して佐脇安連が討死したという。江戸期には七百石取りの旗本となり、大坂番衆等の役を勤めたと言われている。