五か所城の城主とされる愛洲氏のことに関しては分からないことが多いようである。その名が史料上最初に見えるのは暦応二年(延元四年/1339)の神山城(松阪市)の戦いに南朝方として愛曾(愛洲)六郎左衛門尉が出陣し、北朝軍を撃退していることであろうか。ただし、いつ頃から五ヶ所城を拠点とするようになったのかは明確ではない。

　この頃、愛洲氏は一之瀬城(五ヶ所城の西約10km)も拠点としており、後醍醐天皇の皇子宗良親王を御迎えし、宮方の勢力を糾合していた。康永元年(興国三年/1342)には玉丸城(田丸城/度会郡玉城町)の戦いに南朝方として愛洲弾正忠宗家、三郎左衛門宗実が参戦していることが知られる。この翌年には五ヶ所城が北朝方仁木義長に攻められたことが伝えられており、愛洲氏の五ヶ所土着をこの頃とするのが一般的になっているが、宝徳年間(1449-51)とする説もあって確定的ではない。

　戦国期の大永七年(1527)、愛洲弾正親忠が家督を国忠に譲って玉丸へ進駐したことが記されている。この頃には五ヶ所城も愛洲氏の居城として整備されていたことは確実であろう。

　この頃の事として陰流の祖として知られる愛洲移香斎久忠が諸国を武者修行して剣の奥義を極めたとされている。この陰流が上泉信綱によって新陰流となり、さらに柳生石舟斎によって柳生新陰流へと派生してゆくこととなる。

　天正三年(1575)、北畠氏の家督を継いだ織田信雄(北畠信意)は田丸城を改修して居城とした。翌年、信雄は三瀬館の北畠具教を謀殺、田丸城にも北畠一族を呼び出して謀殺してしまった。

　この時、北畠勢は五ヶ所城を包囲して攻め落としてしまったと伝えられている。最後の城主となった愛洲治部大夫重明が妻(北畠具教の娘)を実家に帰したことが発端となったとされており、現地の牛鬼伝説となって言い伝えられている。籠城戦は三日続き、城主重明は城を脱して迫子(志摩市浜島町)の呑湖庵に逃れ、隠棲したとされている。しかし、家老久平友晴の密告で北畠氏の知るところとなり、重明は自刃してしまったという。

　その後、田丸直昌の弟虎熊(具勝)が一之瀬城から五ヶ所城に入ったと伝えられているが、詳細は分からない。ほどなく廃城となったものと思われる。