緒川城を築いて知多にその地歩を固めたのは水野貞守という武士であった。ときは文明年間(1469-87)の初め頃のことと思われる。貞守の出自についてはよく分らないようだ。南北朝期、ここに城館を構えて土岐氏に滅ぼされたという小河氏がいたが、水野氏はその後裔ということで、貞守が故地に返り咲いたものとも言われている。貞守は四囲に武威を張り、文明八年(1476)には衣ヶ浦湾を渡って対岸の刈谷にも城(刈谷古城)を築いたとされる。

　貞守の後、水野氏の当主として登場するのが忠政である。ただし、一般的な系譜では貞守の曾孫ということになっている。貞守-賢正-清忠-忠政である。しかしながら水野氏の系譜には不可解な点も多く、貞守の後に為則という人が緒川城主であったとも言われているが、詳細は分らない。

　さて忠政であるが、彼は天文二年(1533)に刈谷に新城(刈谷城)を築いて居城としたようだ。忠政の娘於大は享禄元年(1528)に緒川城で生まれたとするならば刈谷移転までは忠政が緒川城主であったといえる。刈谷移転後、緒川城には誰が居たのか、それもよく分らない。忠政は嫡男の信元に緒川城を守らせたとも言われるが、忠政没後(天文十二年/1543)は信元も刈谷城を本拠としたようだ。

　天文十四年(1545)、信元は父忠政の親松平・今川路線を継承することなく、尾張の織田信秀と結んだ。松平広忠に嫁していた忠政の娘於大が離別されたのも信元の離反が原因である。この時の於大は刈谷に戻ったというから、やはり水野氏の本拠は緒川ではなかったようだ。天文二十三年(1554)の村木砦の戦いでは信元が緒川城主として織田信長に援軍を要請して戦ったというのが通説のようになっているが、「信長公記」では信元が砦攻めに参加したとは記されていない。

　忠政、信元父子が刈谷を居城としてから緒川城はどうなっていたのであろうか。村木砦攻めで信長とともに戦った水野忠分(ただちか)が緒川城内に館を構え、城を維持していたものと思われる。忠分は知多半島南部の布土城主であったが、一貫して本貫地を緒川としていたという。

　天正三年(1575)、信元は織田家臣佐久間信盛の讒言によって武田勝頼への内通を信長に疑われ、徳川家康の家臣石川数正らによって誅殺された。その後は刈谷城とともに緒川城も佐久間信盛の持城となったとも言われる。

　天正八年(1580)、信長は佐久間信盛を高野山に追放、信元の弟忠重を刈谷城主とし、同じく兄弟の忠守を緒川城主とした。というが、忠守がいつまで緒川城に居たのかよく分っていないらしい。

　天正十二年(1584)三月、秀吉との対決のために尾張(清州城)に入った家康は緒川先方衆の水野分長(わけなが・天正六年/1578・有岡城攻めにて討死した忠分の嫡男)に本領を安堵する。分長は刈谷の水野忠重に属して戦功を重ね、後に家康の命で蒲生氏郷に属して奥州に出陣して先陣を務めた。慶長四年(1599)、分長は家康から大番頭として迎えられ、翌年の関ヶ原合戦に参陣した。

　慶長六年(1601)、分長は緒川一万石の藩主となる。居城は緒川城であるが、旧来の城地の北部に城館を構えたようで、高藪城とも呼ばれている。忠分以来の城館を居城としたのであろうか。

　慶長十一年(1606)、分長は三河新城藩(新城城)一万二千石へ移封となり、緒川を去った。その後、緒川藩は尾張藩に併合され、緒川城は廃城となったとされる。