佐脇氏は鎌倉期に当地を名字とした地頭であったと思われ…と現地説明板にある。また別の資料には室町初期に将軍奉公衆の佐脇氏が佐脇荘の地頭となって居住、苗字としたとある。
　奉公衆としての佐脇氏の名は「太平記」の中に見えているようで、佐脇左近大夫(貞和元年/1345)、佐脇三河守(延文五年/1360)、佐脇右京亮明秀(貞治六年/1367)といった名が記されている(()内は登場年次)。この佐脇氏とここ佐脇城との関係はよく分らないが、早くにその基盤を伊勢地方の所領に移したとされる。
　1400年代中頃、亀山城主(新城市作手)奥平貞久が勢力を拡大していて、作手三十六ヵ村と額田郡や宝飯郡の一部を領したと伝えられている。この宝飯郡の一部というのがここ佐脇のことだとされている。この当時、佐脇に居たのが生田(しょうだ)氏という額田郡出身の国人で、奥平貞久の家臣になったというのである(寛政重修諸家譜)。そして貞久は七男の定包を佐脇の領主としたという。
　時は流れて享禄二年(1529)、三河統一を推し進めようとする松平清康が東三河へ進攻した時、佐脇城主の佐脇弾正が籠城して戦い、討死したと伝えられている。この佐脇氏と南北朝期の佐脇氏との関係はあるのだろうか。そして奥平氏の佐脇支配はいつまで続いたのであろうか。天文六年(1537)の佐脇神社棟札に奥平定勝、信近、定時の名があると言われることから依然として奥平氏の影響下にあったものと思われ、佐脇氏は奥平氏の与力となったとする見方もある。
　永禄五年(1562)、今川氏から独立して三河平定を推進する松平元康(徳川家康)は今川勢を駆逐しながら東三河にその駒を進めていた。