三河に西郷氏の名が登場するのは延文元年(1356)とされ、これが史料上の初見となっている。明大寺城が西郷弾正左衛門稠頼(清海入道)によって築かれる八十年ほど前の事である。
　さらに二十年さかのぼる建武三年(1336)二月、京都で足利尊氏が新田義貞に敗れて九州へ落ちたが、この時の尊氏随行の臣に仁木義長がいた。尊氏は九州で再挙して四月には東上を開始したが、仁木義長は六月まで九州に留まり菊池勢を攻略してから上洛、尊氏に合流している。この時に肥前出身の西郷氏が仁木義長に随従して行動を共にしたとされる。
　この後、仁木義長は足利幕府草創の功臣として伊勢、伊賀、志摩、遠江、三河などの守護職を兼任して権勢を誇ったが、この時に守護代として西郷氏が三河入りした見られている。時期は義長が三河守護となった観応二年(1351)頃とされる。そして史料初見の延文元年(1356)となるのである。延文五年(1360)には仁木義長が細川、土岐、畠山の三氏による討伐を受けるという事態が起こるが、この時に西郷弾正左衛門尉が五百余騎を率いて畠山国清勢を三河国矢矧に防いだことが伝えられている。結局は西郷氏は畠山勢とそれに協力する軍勢によって蹴散らされてしまう。仁木義長が伊勢国長野城に籠城したのを受けて西郷氏も伊勢に落去したとも言われるがよく分らないようだ。
　その西郷氏が約八十年後の永享年間(1429-41)にここ明大寺村に居城を築いたとして忽然と三河の地に登場するのである。一般的には明大寺村の南約8kmの額田郡大草郷から移ってきたとされるが、確証はないらしい。
　明大寺村に居城を築いた西郷稠頼は享徳元年(1452)に菅生川(乙川)北岸の龍頭山に砦の構築を始め、康正元年(1455)に完成した。この頃、岩津を拠点として勢力を伸張する松平氏が台頭しており、西郷氏の砦構築はこれに対応したものと見られている。東海道の便を確保するためであったことは言うまでもない。
　寛正六年(1465)、額田郡一揆が起きた。この一揆は東条吉良氏の被官丸山、大場、梁田の三氏が浪人を集め、井口砦を拠点に守護に背き、官物を奪うなどして狼藉したというものである。幕府はこの一揆の鎮圧を牧野出羽守と西郷六郎兵衛に命じた。両人は手勢を率いて三日三夜攻め続けて砦を落としたが、逃げ散った一揆方の討伐のために松平氏と戸田氏が第二陣として展開して鎮圧した。
　この鎮圧に出陣した西郷六郎兵衛というのは明大寺城を築いた稠頼の息頼嗣ではないかと見られている。実は、この時の戦功で大草郷を入手したのだとする説がある。
　文明三年(1471)、松平信光が安城城を取得した。勢力拡大の波に乗る松平氏と西郷氏の衝突はこの頃には時間の問題となっていた。両者は度々出陣して合戦に及んだと伝えられているが、どうやら分は松平氏にあったようである。結局、西郷頼嗣が娘を嫁して信光五男の光重を婿養子に迎えることになった。頼嗣は明大寺城を光重に譲って隠退した。西郷氏は松平氏に屈服したということになる。