吉良町岡山の丘陵西端近くに字砦山があり、かつてここに岡山城があった。城といってもほぼ自然地形であると言われており、目だった遺構は無さそうであるが、ここには戦国期に富永半五郎勝光が城主であったと伝えられている。

岡山城の築城の時期は不詳とされているが、南北朝期時代の吉良氏当主満義の五男満康が当地に移り、岡山氏を名乗って代々の居城であったとされている。

そして時代は移り、永正の頃(1504-21)になると富永半五郎勝光の名が出てくる。三河における富永氏は建武二年(1335)に足利尊氏の命により設楽郡を与えられて野田館(新城市野田)に入ったことではじまる。しかし、永正二年(1505)に当主千若丸が乱心自害して富永本家は絶えてしまった。こうした時期に野田館の守護城として築かれていた下り地城(新城市野田)に一族の富永勝光が住していたのである。

本家が絶えて困ったのは家臣らである。致仕して帰農する者や他家に仕官して新たに出直す者たちが相次いだ。富永勝光も城を捨てて吉良氏に仕官する道を選んだ。同族の富永氏が吉良家の重臣であったことが勝光の背を押したのであろうか。そして岡山の城跡に館を構えたものと思われる。

勝光の死後と思われるが、無主となった岡山城は室城(西尾市室町)主で吉良家重臣の富永伴五郎忠元が管理したとされる。

永禄四年(1561)、三河平定を進める松平元康と東条城の吉良義昭が対立、二度の合戦の末に頼みの重臣富永忠元を失い意気消沈した義昭は元康に降伏した。翌年、義昭は許されて岡山城へ入った。

永禄六年(1563)、三河一向一揆が勃発すると吉良義昭は再び東条城に入って挙兵、松平元康改め家康に反抗した。しかし、翌年になると一揆方は劣勢となり、松平方に寝返った久留善四郎正勝が岡山城へ籠って一番槍の功名をなしたという。やがて東条城は落城して義昭は退転、近江の六角氏を頼って逃亡した。

その後、寛永(1624-44)の頃に高家吉良義弥(よしみつ)の弟八兵衛弥清(みつきよ)が岡山氏を称しており、岡山城に住したと言われているが詳細は分からない。