当地に下向して最初に館を築いたのは橘氏で、保元(1156-58)の頃のこととされている。ここは泊浦や泊場と呼ばれて海上交通の要所であった。

　永正(1504-21)期、橘氏は往来の船から関銭を徴収し、妙慶川河口南岸の樋の山の館を城砦化するなどして勢威を張り、志摩十三地頭の盟主的存在となって鳥羽殿と呼ばれていたという。鳥羽は泊場(とまりば)の転訛したものと言われている。この頃、国司北畠材親の進出を受けてその支配下に入り、志摩二郡を領したという。この時に、橘主水宗忠は妙慶川北岸の取手山を城砦化して居城としたようである。

　永禄(1558-70)期に入ると田城城や波切城を拠点とする九鬼氏の勢力が強くなり、永禄三年(1560)には危機を感じた志摩地頭衆が結束し、北畠氏の援軍を得て九鬼氏を排除(田城城の戦い)している。

　ところが、没落した九鬼嘉隆が織田信長の庇護を受けて水軍の将として復活したのである。永禄十二年(1569)、信長の伊勢攻略に際して嘉隆も水軍を率いて活躍した。北畠氏降伏後は志摩の平定戦に取り掛かり、志摩十二地頭を次々に撃破して討伐、追放、或いは臣下に加えるなどして信長から志摩領有を認められた。この平定戦で鳥羽の橘宗忠は娘を嘉隆に嫁がせることで降伏した。

　その後、九鬼嘉隆は織田水軍の総帥として長島一向一揆攻め、鉄甲船を率いて木津川口の戦いで毛利水軍を撃破するなどして戦功を重ねた。信長亡き後は豊臣秀吉に仕えた。

　天正十三年(1585)、嘉隆は本拠地を鳥羽に定め、築城を開始したとされている。舅の橘宗忠とその先祖が居城としていた樋の山の砦跡にである。一説には志摩平定戦の折に夜襲をかけて奪い取ったとも言われている。天正十八年(1590)小田原征伐、天正二十年(1592)文禄の役に出陣して九鬼水軍は名実共に日本水軍を代表するものとなった。

　文禄三年(1594)、鳥羽城が完成。大手を海側にした水軍武将ならではの城であった。慶長二年(1597)、嘉隆は隠居して次男守隆が家督を継いだ。

　慶長五年(1600)、関ケ原に際しては父子で東西に分かれることになった。家存続のためと言われている。守隆は徳川家康の会津征伐に従軍し、嘉隆は国元で石田三成に加担したのである。嘉隆は熊野新宮の堀内氏善の協力もあって鳥羽城を奪取して気勢を上げた。ところが本戦で西軍が敗れると嘉隆は答志島に逃れて切腹して果ててしまった。一方、守隆は家康に父嘉隆の助命嘆願を願い出ていた。家康はこれを許可し、守隆は国元に急使を走らせたが間に合わなかったという。戦後、守隆は三万石から五万五千石へ加増された。

　寛永九年(1632)、守隆、没して五男久隆が継いだが、三男隆季と家督を巡って対立することになってしまった。御家騒動である。幕府は久隆を摂津三田三万六千石に、隆季を丹波綾部二万石に移封とした。九鬼氏は分裂して陸に上がることになり、戦国の海を制した九鬼水軍は事実上ここに消滅した。

　寛永十年(1633)、鳥羽城には内藤忠重が三万五千石で入城した。忠重は二ノ丸、三ノ丸を増築して近世城郭の体裁を整えた。内藤氏は忠次、忠勝と続く。延宝八年(1680)、忠勝が将軍家綱供養法会に際し、芝増上寺にて奉行永井尚長を刺殺するという事件を起こし、御家断絶、改易となる。

　天和元年(1681)土井利益が七万石、元禄四年(1691)松平(大給)乗邑が六万石、宝永七年(1710)板倉重治が五万石、享保二年(1717)松平(戸田)光慈が七万石で鳥羽藩主となり、城主が変転した。

　享保十年(1725)に稲垣昭賢が三万石で入部してからは藩主の交代もなく明治に至った。