飛山城は宇都宮氏に属する芳賀高俊によって永仁年間(1293-98)に築かれたとされる。芳賀氏が文献的に確認されるのは源頼朝による奥州征伐(文治五年/1189)の時で、宇都宮朝綱麾下の家臣芳賀高親が活躍したことが記されている。この高親の頃の居城は御前城(真岡市/飛山城の南南東14km)であった。御前城は芳賀を称した高澄(承保三年/1076)以来代々の居城であったのだが、宇都宮氏との関係を強化するために高俊が飛山城を築いたものと見られている。

　高俊以降、芳賀氏は宇都宮氏との縁組を通して血縁的にも強化され、宇都宮一族として家臣筆頭の強大な権勢を得るに至る。

　また、武威の面においても宇都宮氏の紀清両党(紀は益子氏、清は清原姓であった芳賀氏のこと)として名を馳せ、元弘三年(1333)の四天王寺合戦では楠木正成も戦を避けたと言われるほどであった。

　建武の新政(1333)後、宇都宮氏当主の公綱は南朝方の臣として各地を転戦していた。一方、飛山城の芳賀高名(高俊の4代後/父は宇都宮氏からの養子高久)は建武四年(1341)に公綱の子氏綱を擁して宇都宮城を占拠、北朝方についた。

　暦応二年(1339)からは常陸を拠点とする南朝方春日顕国の進攻を受け、下野南部の諸城は次々と落城した。暦応四年(1341)八月、飛山城も春日顕国勢の攻撃を受けて落城してしまった。戦いの様子は伝わっていないが、飛山城の支城である石下城(市貝町)の戦いでは城兵すべてが討死して落城したと言われているので飛山城の戦いも激烈な戦いであったと思われる。

　しかし、北朝の高師冬の軍勢が常陸国内に移動して南朝方の城を攻めはじめたため、春日顕国は飛山城に留まることができなかったものと思われる。落城から二ヵ月ほど後、芳賀高名は守兵の手薄となった飛山城を奪還している。

　その後の観応の擾乱(1351)において宇都宮氏は足利尊氏方として活躍したため下野、上野、越後の守護となり、芳賀氏はその守護代となった。しかし、鎌倉公方足利基氏によって越後守護が上杉氏に与えられると、宇都宮氏綱と芳賀高名は反基氏の兵を挙げたが武蔵岩殿山合戦で敗戦している。この戦いで高名の子で飛山城主であった高家が討死した。

　芳賀氏はその後も宇都宮氏の外戚として家中筆頭の立場を維持し続けたが、それは主家宇都宮氏との争いの関係でもあった。永正九年(1512)から2年間にわたる宇都宮氏と芳賀氏の争乱は「宇都宮錯乱」と呼ばれるもので宇都宮成綱が芳賀氏を押さえ込む形で終わり、芳賀氏の家督は成綱の弟興綱が継いだと言われる。

　大永六年(1526)、芳賀氏を継いだ興綱が宇都宮忠綱(成綱の子)を追放して宇都宮当主となり、芳賀氏は高経(成綱に自害させられた高勝の弟)が継いだ。天文五年(1536)、高経は興綱を自害に追い込み、尚綱(興綱の子)を当主にした。天文十年(1541)、今度は尚綱が高経を討取り、益子勝宗の子高定に芳賀氏を継がせた。

　天文十八年(1549)、宇都宮尚綱が那須氏との戦い(五月女坂合戦)で討死、宇都宮城には天文十年の争いで那須氏に保護されていた芳賀高照が入城した。弘治元年(1555)、真岡城に後退して尚綱の遺児広綱を擁していた高定が高照を謀殺。弘治三年(1557)、広綱、高定支援の佐竹義昭が五千の軍勢で飛山城に布陣、後北条氏の命で宇都宮城に居た壬生綱雄を追って城を奪還した。

　その後、飛山城は芳賀氏の本城真岡城の番城として改修強化されたものと見られている。

　天正十八年(1590)、後北条氏を滅ぼした豊臣秀吉は宇都宮城において宇都宮仕置を行った。この仕置きによって飛山城は「いらざる城」として破却の対象となったものと考えられている。

　ちなみに、この仕置きによって宇都宮氏は十八万石を安堵されたが、慶長二年(1597)に突如改易となった。一方の芳賀氏も宇都宮仕置で六万石が与えられたが、宇都宮氏と同様に慶長二年に改易となり、歴史の表舞台から姿を消した。