治承四年(1180)、源頼朝の挙兵。これに呼応して九州に於ける反平家の旗をあげたのが豊後国緒方庄の武士緒方三郎惟栄(これよし)であった。惟栄は都落ちした平氏を大宰府から追い出すなどして活躍した。戦後、頼朝と義経が対立すると惟栄は義経に加担、豊後へ迎えようとした。この時に築かれた砦が岡城の前身となるものであったとされる。無論、伝承の域を出ない。ちなみに惟栄は船団を手配して摂津を義経らと共に船出したのであるが、暴風のために失敗してしまった。惟栄は捕らえられて上州沼田へ流罪となり、後に豊後へ戻ったとも途中で病死したとも伝えられている。

　時は移って建武年間(1334-37)、大友氏支族の志賀貞朝が後醍醐天皇の命を受けて砦を拡大・改修して岡城と名付け、北朝方と戦ったと伝えられているが、これも伝承の域を出ないらしい。

　確かなところは応安二年(1369)以降に騎牟礼城から移った志賀氏によって築城されたものと見られている。以後、志賀氏十七代二百六十年の居城として続くことになる。志賀氏は大友初代能直(よしなお)の八男能郷が初代で、豊後国守護大友氏の重臣として活躍した。

　岡城の名を天下に轟かせることになったのは志賀氏最後の岡城主親次(ちかよし)の奮戦によってであった。天正六年(1578)の耳川の戦いで島津氏に大敗した大友氏はその後配下の武将らの相次ぐ離反によって天正十四年(1586)には島津の大軍による豊後侵攻を許すまでに衰退してしまう(豊薩戦争)。しかも、親次の父親度までもが島津に降ってしまった。そうした状況下にあって岡城の若干十八歳のキリシタン武将志賀親次は主家大友氏のために城兵千人と共に岡城に籠城、三万余の島津義弘の大軍を相手に一歩も譲ることなく再三に渡りこれを撃退した。島津義弘は親次を「天正の楠木正成」と絶賛したという。天正十五年(1587)、豊臣秀吉の九州平定によって島津氏は降伏、大友氏は豊後一国を安堵された。

　文禄二年(1593)、朝鮮の役で明の大軍に攻められた平壌城の小西行長を救援せずに撤退したことで大友義統は秀吉の怒りを買い、改易となる。志賀親次も義統と共に朝鮮の陣にあったが、撤退の責任を感じて自ら岡城を去ったという。その後親次は蜂須賀家政、福島正則、小早川秀秋、毛利輝元と諸侯のもとを転々とし、万治三年(1660)に九十五歳で世を去った。

　文禄三年(1594)、播州三木四万石の中川秀成が大野郡、直入郡など七万石を拝領、四千人の家臣を率いて岡城に入部した。岡藩初代藩主となった秀成は直ちに岡城の改修工事に着手した。慶長元年(1596)には一応の完成となり、城下町も湿地帯を埋め立てて建設された。城下町は湿田で竹が多かったことから「竹田」と呼ばれるようになった。

　慶長五年(1600)の関ケ原の際には東軍に付いたことで所領を安堵され、中川氏は一度の転封もなく十三代続いて明治に至ることになる。

　慶長十七年(1612)、藤堂高虎が熊本城の帰りに岡城を訪れた。その際に東向きの大手門では朝日が眩しく不利であると忠告したと言われ、西向きに改められたとされている。

　寛文四年(1664)、三代藩主久清は西の丸を増築し、山城としては全国一の規模となった。当初は久清の隠居後の御殿であったのだが、時代とともに増改築が施されて西の丸が藩政の中心となる。

　明治四年(1871)、廃藩置県により廃城となり、城内の建造物はすべて破却された。

　滝廉太郎の「荒城の月」の旋律は石垣のみとなった岡城跡から生まれたと言われている。