若桜鬼ヶ城の名で親しまれているこの城の創築は不明とされているが、矢部氏の国人としての成長と自立化の過程で築かれたはずであり、室町中期頃には詰の城として整備されていたものと思われる。

　その矢部氏、元は駿河国安倍郡矢部村(静岡県静岡市清水区)の地頭であったと言われている。鎌倉初期の正治二年(1200)、梶原景時一族の討伐に功があり、矢部十郎暉種(あきたね)が因幡国八東郡山田村(若桜町若桜の一部に比定される)外二十ヵ村を与えられて入部したのが因幡矢部氏の始まりとなった。

　南北朝期には足利尊氏に味方し、守護山名氏に従った。後には幕府奉公衆となって自立化の道を歩み出したものと思われ、当主矢部定利は同じ国人であり奉公衆仲間でもあった毛利次郎貞元(私部城主)の反守護の乱(毛利次郎の乱/文明十一年(1479))に与している。この乱は長享元年(1487)にも再発しており、二度とも矢部定利は毛利貞元に与して守護山名豊時と戦っている。二度目の乱は守護方優勢で推移し、延徳元年(1489)九月にはついに毛利貞元が私部城にて自刃、矢部定利も若桜館(若桜城か)に逃げ戻り、守護方の軍勢に包囲されるなか、自刃して果てた。その後も矢部氏は私部城の因幡毛利氏との関係を保ち続け、但馬山名氏と争ったという。

　天正元年(1573)暮、尼子再興を目指す尼子勝久、山中鹿之助幸盛らの軍勢が因幡へ進攻、十日のうちに十三城を抜いて旭日昇天の勢いを示し、翌年には若桜城の矢部氏も尼子再興軍に降った。しかし、状況は目まぐるしく変転する。尼子氏の支援を受けて鳥取城主となっていた山名豊国が安芸毛利方に寝返り、但馬の山名氏も毛利方と和してしまった。

　天正三年(1575)六月、山中鹿之助は因幡戦線を維持するため、向背定かならぬ矢部氏を謀って若桜城を乗っ取ってしまった。それはこの若桜城が因幡、播磨、但馬を結ぶ交通の要衝であったからであろう。この後、十六代続いた矢部氏は滅び、若桜の地に帰農したとされる。しかし、吉川元春らの毛利勢による因幡攻略によって尼子党の亀井茲矩の守る私部城が十月に落城、翌四年(1576)五月には若桜城も持ち堪えられず、山中鹿之助らは因幡から退去してしまった。

　天正八年(1580)、羽柴秀吉の因幡進攻によって鳥取城の山名豊国が降伏した。この時に秀吉に従っていた但馬の国人八木豊信が若桜城の守りに就いた。翌九年(1581)、鳥取城に毛利の吉川経家が城主となるにおよび八木豊信は若桜城を捨てて逐電してしまった。

　秀吉による徹底した兵糧攻めによって鳥取城は落城した。その後、若桜城には木下重堅が二万石の城主として入城し、石垣を用いた織豊期城郭へと改修されることになる。

　慶長五年(1600)の関ヶ原戦で木下重堅は西軍に属して奮戦したが本戦後に自刃して果てた。

　翌慶長六年(1601)、山崎家盛が三万石を拝領して若桜に入部、若桜藩が立藩した。家盛は慶長十九年(1614)に没、嫡男家治が二代藩主となった。

　元和三年(1617)、家治は備中成羽へ転封となり、若桜城は廃城となった。以後、若桜領は鳥取藩領となった。

　現在、城址を訪れると石垣の崩れた状態を多く目にする。それは元和三年の破城の跡と言われている。