当地に最初に城を築いたのは坂西(ばんざい)氏である。築城の時期ははっきりしないが十五世紀前半頃と思われる。坂西氏が飯田郷に入部したのは南北朝時代の後期とされ、室町時代の初期に坂西由政が飯坂城(飯田市愛宕町)を築いて本拠とし、その後に修験者の行場となっていた土地と愛宕の地を交換して飯田城を築いたとされている。当初の飯田城は山伏丸と呼ばれる段丘東端部分であったと言われている。

　戦国時代、坂西氏は守護小笠原氏と共に大塔合戦(応永七年/1400)や結城合戦(永享十二年/1440、結城城)に出陣していることが伝えられている。

　天文二十三年(1554)には甲斐の武田信玄による伊那進攻により、松岡氏(松岡城)や大島氏(大島城)らと共にその軍門に降った。当主坂西政之は武田家臣秋山信友に属して六十騎の軍役を果たした。信玄は飯田城を下伊那支配の拠点とし、跡部忠勝を城代として入城さているが、この頃から飯田城の拡大・改修が実施されたものと思われる。

　永禄五年(1562)、伊那郡代として秋山信友が飯田城に入ったようだが、この年に松尾城の小笠原信貴が領地を押領されたと武田氏に訴え、軍勢をもって坂西氏を攻めたとされている。当主坂西長忠とその一族は飯田から木曾谷に逃れようとしたが、途中で小笠原勢に追いつかれて悉く討死、滅亡してしまったと言われている。

　天正三年(1575)頃、坂西織部亮が飯田城代として登場するが、滅亡した坂西氏との関係は分からないようである。

　天正十年(1582)、織田信長による甲州征伐がはじまる。この当時の飯田城には織田勢の来襲に備えて保科正直(高遠出身)と坂西織部が詰めていた。しかし、怒涛の織田勢の前に保科正直は城を捨てて高遠城に後退、坂西織部も城を脱したが逃走中に討死してしまった。

　武田滅亡後、飯田城に到着した織田信長は武田勝頼、信勝父子と仁科盛信(高遠城主)らの首実検を行い、城下に晒した後に京都へ送って獄門に晒した。

　信長は伊那の統治を毛利秀頼に任せ、下条氏長を飯田城代とした。下条氏長は伊那郡南部の吉岡城主下条氏の一族で、織田勢の進攻時、氏長はいち早く織田方に寝返ったのである。

　しかし、織田の支配は長くは続かなかった。六月の本能寺の変で信長が死ぬと毛利秀頼は伊那を去り、代わって徳川家康が信濃へ力を伸ばすこととなる。吉岡城主であった下条信氏らは長氏の謀反によって伊那を離れ、三河、遠江に避難して徳川の保護下にあった。家康は信氏の次男下条頼安を援助して伊那へ向かわせた。頼安らは長氏を討ち取り、家康から伊那に所領を与えられて飯田城主となった。頼安は間もなく死に、甥の康長が城主となったが家臣達の不和が災いしてあえなく没落してしまった。

　翌、天正十一年(1583)、家康は菅沼定利(三河・田峯城、道目記城)に伊那支配を命じて飯田城主とした。

　天正十八年(1590)、家康の関東移封により豊臣家臣毛利秀頼が再び伊那七万石を領して飯田城主となる。

　文禄二年(1593)、秀頼、肥前名護屋の陣中に没して娘婿の京極高知が十万石で城主となった。高知の時代に近世城郭化が進められ、家臣光増右衛門を奉行として城下町の整備が行われる。

　慶長五年(1600)、関ケ原合戦の戦功により京極氏は丹後宮津へ移封となり、翌年に小笠原秀政が五万石で入部した。

　慶長十八年(1613)、秀政は信濃松本(松本城)へ移封となり、廃藩天領となる。

　元和三年(1617)、脇坂安元が伊予大洲(大洲城)より五万五千石で入部して復藩される。

　寛文十二年(1672)、二代安政は播磨龍野に移封となり、堀親昌が二万石で入部した。以後、堀氏が十二代続いて明治に至った。

　幕末期、飯田藩は会津藩と共に京都見廻役を務めており、戊辰戦争では新政府に恭順したとはいえ、その恨みをかって飯田城は徹底的に破壊されたのだとも言われている