奥山朝清から四代目の直朝、その子朝藤のとき、世の中は南北朝対立の時代となっていた。井伊本家は後醍醐天皇の南朝方に属して反足利の旗を掲げ、宗良親王を迎えて南朝興隆の先鋒を担った。井伊家重臣である奥山氏も当然、この戦いに身を投じている。

宗良親王を迎えた井伊道政は三嶽城を本城とし、その周辺に幾つもの支城を配して大規模な防衛線を構築した。その防衛線の西端、三河との国境近くに位置する千頭峯城の守りについたのが奥山朝藤であった。しかし、遠江南朝勢の奮闘も空しく、興国元年(1340)夏には三嶽城以下の支城群の悉くが足利勢によって落とされ、井伊氏を中心とした南朝勢力は瓦解した。

その後、井伊氏と奥山氏は宗良親王を守護して各地を転戦、興国四年(1343)に南信濃大河原城を宗良親王が新たな拠点とするに及び帰国したものと思われる。ところが、井伊谷では井伊道政の娘駿河姫が親王の皇子を出産していたのである。すでに遠江は今川氏の支配下にあり、幕府の監視が厳しくなっていた。

奥山朝藤は井伊家再興のためには今川氏に属するほかなしと決めていたが親王の皇子を幕府に差し出すに忍びなく、次男の定則に皇子を託して北遠(遠江北部)の山奥へと落とし参らせたという。

奥山定則は九頭郷(天竜区水窪町)に拠点(高根城)を構え、宗良親王の皇子由機良(尹良/ゆきよし)親王を匿って土着した。この定則の系統が北遠一帯を勢力圏とする国人として繁栄することになる。

南朝瓦解後、奥山朝藤は守護今川氏に属し、また九州探題今川了俊に従って九州の戦陣を駆け巡った。応安四年(1371)には後醍醐天皇の11番目の皇子である無文元選禅師を招いて方広寺を建立した。

その後も奥山氏は井伊家中筆頭の重臣として井伊氏を支え続けた。十一代朝利の頃には世は戦国時代となり、遠江は駿河の戦国大名今川義元の支配下にあった。朝利は子沢山で娘が八人おり、井伊家当主直親をはじめとして中野氏や小野氏といった井伊家臣にもその室として嫁がせている。また、朝利の妹は今川重臣新野左馬助に嫁いでいる。

永禄三年(1560)、当主井伊直盛以下家中うち揃って今川義元の尾張出陣に従軍した。ところが、桶狭間の一戦で織田信長に敗れ、義元以下今川方の将士の多くが斃れた。当主直盛と奥山朝利の嫡男朝宗も戦死した。

その二年後、家老小野但馬守道好の讒言によって当主井伊直親が今川重臣朝比奈氏によって誅殺された。さらに小野但馬守は朝比奈勢を井伊谷に呼び入れ、井伊家臣の悉くを討ち取ったという。この小野但馬の反乱の際にここ奥山館も襲われ、落城したと言われる。奥山朝利もこの騒動の中で討ち取られたとされている。

小野但馬の乱によって井伊氏は断絶の危機を迎えるが、桶狭間に斃れた井伊直盛の娘で出家していた次郎法師が家督を継いで当主となった。女城主として知られる井伊直虎である。直虎は徳川家康を迎え入れ、小野但馬は獄門磔に処せられた。