延元元年(1336)暮れ、後醍醐天皇は京都を脱して吉野へ潜幸、復位を宣した。南北朝時代の幕開けである。

　後醍醐天皇の重臣北畠親房は宗良親王を奉じ、次男顕信と三男顕能を伴って伊勢国へ下り、一之瀬城に入った。親房は東国との海の玄関口伊勢大湊を確保するために玉丸城(田丸城/度会郡玉城町)を築いて愛洲氏(一之瀬城、五ヶ所城主)などの南党を結集して本拠としたとされている。

　延元三年(1338)、南朝を軍事的に支えてきた北畠顕家(親房の長男)や新田義貞が戦死してしまう。後醍醐天皇は劣勢挽回のために親王や親房らを大湊より東国へ向けて出港させた。この時、親房は三男の顕能を玉丸城に残して伊勢防衛の任に就かせたのである。東国へ向かった船団は暴風のために散り散りとなってしまったが、親房は関東(小田城)に、宗良親王は遠江(三嶽城)に上陸して南朝勢力の結集に奔走することになる。次男顕信も後に陸奥へ向かい北朝方との戦いに明け暮れる生涯を送ることになる。

　伊勢に残った顕能は伊勢国司に任ぜられて北朝方の伊勢守護高師秋との戦いに奮闘した。興国三年(1342)になると北朝方の攻勢も激しくなり、玉丸城をはじめ南伊勢の諸城が落とされてしまい、顕能は山間部への拠点移行を余儀なくされることになってしまう。

　吉野と伊勢を結ぶ伊勢本街道の中間点がここ多気(たげ)の地である。顕能は多気盆地に館を構え、盆地の西側山上に山城を築いた。この山城が霧山城であるとされている。

　顕能が多気に移った翌年、父親房が関東の劣勢を挽回できずに常陸から吉野に帰還した。同様に宗良親王も遠江を追われた後、越中・越後を転戦して信濃の山奥大河原城に拠点を移している。

　正平七年(1352)、観応の擾乱から足利尊氏が南朝に降伏するという事態が起きた。北畠親房が南朝復活を主導し、楠木正儀や千種顕経(千種城)らと共に顕能も伊勢・伊賀の兵三千余騎を率いて出陣、足利勢を駆逐して京都を奪還した。しかし、擾乱を収拾した尊氏は京都を奪還して再び北朝を復活させたために南朝の天下は僅か四ヵ月ほどで瓦解してしまった。

　その後、南朝の退勢が続き、弘和三年(1383)に至り、伊勢の牙城を守り抜いた顕能もついに没した。

　南北朝の合一が成ったのは元中九年(1392)のことである。二代顕泰も足利幕府と和睦して南勢五郡(度会、多気、飯高、飯野、一志)と大和国宇陀郡を所領とし、半国守護的存在として認められた。「国司」はその後も北畠氏の通称として使われ続けて行く。

　北畠氏と霧山城と館のある多気に関する史料上の初見は応永十年(1403)のこととされている。応永二十二年(1415)には三代満雅が幕府に対して挙兵しているが、この頃には多気に城館と城下町が発展していたことが史料的にも確認されているようである。

　正長元年(1428)、満雅は南朝最後の天皇後亀山天皇の孫小倉宮を奉じて挙兵するが、幕府軍に敗れて京都四条河原にその首が晒されている。後を継いだ四代教具は幕府に恭順する路線を進み、北畠氏の勢力保持に努めた。

　文明三年(1471)に当主となった五代政郷は北伊勢への勢力拡大を画策して長野氏(長野城)との抗争が激化した。

　明応八年(1499)、六代材親のとき、多気館悉く焼失して翌年には再建されたと言われる。

　永正十四年(1517)、七代晴具が当主となる。軍事、経済ともに北畠氏の最盛期となり、志摩、熊野、伊賀、大和宇陀郡に支配領域が拡大した。

　天文二十二年(1553)、晴具、隠居して具教が八代当主となる。永禄十年(1567)には織田信長による北伊勢攻略が進み、永禄十二年(1569)にはついに信長との対決となる。

　具教は多気から前進して大河内城を拠点に織田勢を迎え撃つが、結局は信長の次男茶筅丸(信雄)を九代具房の養嗣子とさせられて和睦となる。

　この対織田戦に際し、具教は多気に一族の女房老幼を置き、森本飛騨守ら二千余人に守護させたと言われており、霧山城に避難したのではないかと思われる。館のある多気盆地には羽柴秀吉の軍勢が押し寄せて堀尾茂助(吉晴)らによって焼き払われ、北畠父子(具教、具房)の妻女らが捕らえられた。

　和睦後、具教は三瀬谷(三瀬館)に隠棲したが、天正四年(1576)十一月に一族もろとも織田氏によって謀殺され、南北朝以来続いた北畠氏は滅亡した。