江尻城は永禄十一年(1568)の武田信玄による駿河進攻による支配拠点のひとつとして整備がはじめられ、築城化が進められた。海運の拠点、物資の集積地として今川時代より江尻の地は重要視されており、湊管理の代官が置かれていたという。

　永禄十三年(1570)二月には駿河支配の主城にするため、馬場信春が縄張を担当、今福和泉守が奉行となって本格的な築城が開始された。蛇行する巴川を背後にして扇状に曲輪を展開したもので諏訪原城の築城で見せた馬場信春得意の縄張である。無論、堀は空堀ではなく、内堀・外堀ともに巴川の水を引き入れた水堀である。同時に河口近くには水軍拠点としての袋城の築城も進められた。近くには甲州に繋がる身延路の街道があり、武田にとってはまさに海陸両面を押える最重要拠点なのであった。

　翌元亀二年(1571)、最初の城代として入城したのは武田重臣のひとり山県昌景であった。信玄が江尻城を重要視していた証である。

　天正三年(1575)五月、長篠・設楽原合戦で山県昌景は千五百の兵を率いて開戦一番に突撃を開始、徳川勢六千と乱戦となり壮絶な討死を遂げた。戦後、武田勝頼は重臣中の重臣穴山信君を江尻城代とし、駿河の防衛と経略に任じた。

　穴山信君は城下町を整備し、江尻領を形成して経済的自立を図ったようだ。そして城内には高さ30mの櫓を築いて「観国楼」と名付けた。天正九年(1581)三月、遠江高天神城が徳川家康の攻囲によって落城した。六月、信君は本格的な徳川勢による駿河進攻に備えて外堀の外側に三の丸を増築した。

　天正十年(1582)二月、織田信長による武田討伐が開始された。家康も武田方の諸城を落としつつ駿河に進攻を始めた。家康は江尻城の信君に対して信長に内応するように誘いかけた。信君は武田滅亡は必至とみて武田の名を継ぐことを条件に家康の誘いに応じたのである。信長はこれを許し、穴山氏の甲斐河内領と江尻領を安堵して家康の与力とした。

　三月十一日、武田勝頼が田野(甲州市大和町/景徳院)に自刃して武田氏は滅亡した。五月、信君は御礼言上のために家康と共に安土城に赴き、信長に謁見した。さらに信長のすすめで上洛、次いで堺に至った。ところがここで本能寺の変の報せに接するのである。家康一行は伊賀越えして何とか岡崎にたどり着いたが、信君一行は家康らと距離を置いて移動していたため、宇治田原で野伏に襲われて殺されてしまった。なんとも哀れな最期としか言いようがない。

　その後、信君の嫡男勝千代(信治)が遺領を継いだが、江尻城には徳川家から城番が置かれることになった。城番には岡部正綱、本多重次、松平家忠、天野康景といった名が伝えられている。

　天正十五年(1587)勝千代(十六歳)が疱瘡を患って病没した。家康は自分の五男信吉に穴山(武田)の名跡を継がせた。しかし、信吉もまた慶長八年(1603)に二十一歳で病没してしまった。これによって穴山武田氏は断絶となった。

　天正十八年(1590)、家康が関東に移ると豊臣家臣の中村一氏が駿府城主となり、江尻城はその支配下に置かれた。中村一氏の重臣横田隼人が城番となって江尻城に入った。

　慶長六年(1601)、関ヶ原合戦後、中村氏は伯耆米子へ加増移封となり、駿府城には徳川譜代の内藤信成が入った。この時であろうか、江尻城は存在価値なしとの理由で廃城とされたようである。