越賀城を築いたとされる越賀玄蕃允(又は隼人)隆俊がいつ頃当地に居するようになったのかはよく分からないが、永禄(1558-70)の頃には志摩十三地頭衆の一人として活躍していたようである。しかも志摩衆の盟主的存在であった鳥羽の橘宗忠の妹を娶るほどであったから、隆俊の志摩南部における地位は揺ぎ無いものであったと思われる。

　永禄三年(1560)、田城城と波切城を拠点とする九鬼氏を排除すべく志摩の地頭衆が結束して攻めたことがある。この時、九鬼氏を志摩から追い出すことに成功したが、永禄十一年(1568)になって九鬼嘉隆が織田信長の後援を得て志摩の地に戻って来たのである。信長から志摩領有のお墨付きを得た嘉隆は地頭衆への攻撃を開始した。

　越賀隆俊は近在の地頭衆と結束して九鬼勢の来襲に備え、城の守りを固めた。この時、結束した地頭衆は的矢治郎左衛門、三浦新介(国府城)、甲賀雅樂、和具豊前そして越賀隆俊であった。その数三百人と言われている。和具(青山)豊前の和具城は越賀城の東1km余りの位置にあったから共同戦線を張ったのかも知れない。

　現在の城跡を見ると海に突き出た岬の高台に狭い曲輪が一つ残るだけであるが、これは長年の海蝕(台風、津波)による結果で、戦国当時の越賀城はもう少し規模が大きかったのではないだろうか。九鬼氏との戦いは三年に及んだと言われているから、そこそこの堅塁であったはずである。

　しかし、戦いが長期化すれば領民の生活にも影響が出てくる。越賀隆俊は九鬼勢の包囲下で戦禍に難渋する領民たちを見るに忍びず、降伏を決意したと伝えられている。領民大事の城主の決断であった。隆俊は和具豊前と共に九鬼氏に降り、家臣となった。

　九鬼嘉隆の家臣となった越賀隆俊は織田信長の雑賀攻めや豊臣秀吉の朝鮮の役にも九鬼水軍の一翼を担って出陣して活躍、その戦功により千八百石を知行したと言われている。

　二代隼人隆政は九鬼嘉隆の嫡男守隆の家臣となり、三代隼人隆春は十一歳にして大坂冬の陣に従軍している。隆春は九鬼守隆の娘を妻とし、九鬼家の重臣に列した。

　寛永九年(1632)、九鬼守隆没後の御家騒動の結果、九鬼氏は二分されて摂津三田三万六千石と丹波綾部二万石に移封となる。越賀氏は守隆の三男隆季に従って綾部に移った。