戦国期には武田晴信による信濃攻略が進み、危機にさらされた北信の諸豪らは北隣越後の長尾景虎に救援を求め、その外様衆になった。泉氏もそのひとりであった。

天文二十二年(1553)以来、武田晴信による北信(川中島)攻略が活発となり、弘治二年(1556)二月には葛山城(長野市)が落城して北信一帯は危機的状況となっていた。

北信勢力の中心的立場にあった高梨城(中野市)の高梨政頼と長尾景虎とは縁戚でもあり、強い信頼関係で結ばれている。葛山城の落城当時、高梨政頼は中野の本拠地から後退して親密な関係にあった泉氏の飯山城に入り、越後口の防備に就いていた。

葛山城を落とした武田勢は翌月には千曲川沿いに北上して飯山城に迫る勢いを見せたため、高梨政頼は長尾景虎に救援と出馬を乞い、単独では持ち堪えられぬと訴えた。景虎は直ちに先陣を飯山へ進出させ、自らも善光寺に陣して武田勢を追い払うと飯山城に入った。ここで武田晴信の出現を待ち勝敗を決しようとしたのである。結局、晴信と景虎の直接の対決には至らなかったが、飯山城はこの後も越後方の前線拠点として重要視された。

永禄四年(1561)には川中島八幡原において景虎と晴信の一騎打ちとなった激戦が展開されたが、勝敗を決するに至らなかった。

永禄六年(1563)には武田勢の北信攻略が再び活発となり、飯山城も一時的に武田方に占拠されている。上杉輝虎(長尾景虎)は直ちに安田惣八郎等を派遣して近隣諸氏(上倉、奈良沢、上堺、泉、尾崎、中曽根、今清水)に飯山城の守備を徹底させた。

永禄七年(1564)、上杉輝虎は武田信玄との会敵を求めて北信へ出陣したが対決するに至らず越後へ引き返している。この時、飯山城の改修状況を輝虎自ら確認したことが伝えられている。

天正六年(1578)の御館の乱に際しては景虎方となった飯山城を景勝方の小森澤政秀が攻めたが、その後武田勝頼と景勝の同盟が成り、城は武田に割譲された。

天正十年(1582)、武田滅亡後は織田家臣稲葉貞通が飯山城に入ったが芋川親正らによる土一揆に襲われ、森長可に救援されている。その後は長可の臣林為忠が城代となった。それも束の間で本能寺の変により織田勢力は撤収して飯山城は上杉景勝の支配下に置かれた。そして家臣岩井民部信能が飯山城代となり、飯山城の修築が進められ現状の縄張がほぼ完成された。

慶長三年(1598)、上杉景勝は会津転封となり、飯山城は豊臣家の直轄となり関一政が三万石で入った。

慶長五年(1600)、関一政は美濃国多良へ移り、飯山城は森忠政の支配下となる。

慶長八年(1603)、川中島地方は松平忠輝の支配となり、飯山城には家老の皆川広照が四万石で入って立藩した。慶長十四年(1609)、忠輝の家老花井吉成を讒言したことが家康の怒りに触れ、改易となる。

慶長十五年(1610)堀直寄四万石、元和二年(1616)佐久間安政三万石三代、寛永十六年(1639)松平忠倶四万石二代、宝永三年(1706)永井直敬三万三千石、正徳元年(1711)青山幸秀四万八千石と藩主の交代が続いた。

享保二年(1717)に本多助芳が二万石(後に三万五千石)で封ぜられると幕末まで代を重ねた。

慶応四年(1868)四月、鳥羽伏見の戦いで敗れた幕府陸軍の再編成部隊である衝鋒隊が越後から南下して飯山城下に進出してきた。兵力は五百ともいわれる。隊長は歩兵頭並(大隊指揮官)古谷佐久左衛門で信濃鎮撫の命を受けて飯山を拠点にしようとしていたらしい。当初、飯山藩では衝鋒隊の通過を看過するつもりであったが官軍の松代藩兵千五百が飯山に展開するに及び、城下が戦場となる事態は避けがたいものとなり、衝鋒隊攻撃を決断した。飯山城表御門に殺到した衝鋒隊に対して城内の大砲で砲撃を加え、松代藩と共に攻撃を加えた。衝鋒隊は城下に放火して態勢を整えると今度は飯山城の裏門に陣を構えたが、やはり城内からの砲撃と飯山藩と松代藩の兵が城内より撃って出たために総崩れとなり、敗走して越後へ退却した。

衝鋒隊を撃退した後、飯山城には田野口藩、松本藩の兵も集結して総勢二千三百人に達した。数日後、東山道鎮撫総督岩村精一郎が到着して飯山藩はこれに従うことになる。

信州唯一の戊辰戦争となった飯山戦争。城は落ちなかったが城下は焼野原となってしまった。