南北朝期から戦国期にかけては武家として、また国人領主としての勢力を維持し、室町幕府の奉公衆であるとともに駿河守護今川氏との関係が強化され、駿河と甲斐の国境を押さえる重要な立場にあった。天文六年(1537)から起きた後北条氏との抗争(河東一乱)でも富士氏は一貫して今川氏に従っている。

大宮城の築城時期は定かではないが、戦国期にはそれまでの武家屋敷(大宮司館)を拡張して防御能力を強化したものとなっていたと思われる。

永禄三年(1560)、桶狭間合戦にて今川義元が敗死した。その翌年(1561)七月、今川氏真は富士大宮司分代職にあった葛山頼秀を罷免、富士兵部少輔信忠を任じて大宮城代を命じた。八月には大宮城と興国寺城の普請を勤めるよう命じてもいる。これは今川氏が富士氏を河東(富士川以東)地域において信頼すべき国衆として見ていたことを示している。

その後、今川氏真による領国支配は弱体化の一途をたどり、甲斐武田氏による侵攻を招くこととなる。

永禄十一年(1568)十二月、武田信玄一万二千の軍勢にて駿河へ侵攻。今川勢一万五千と薩埵峠に戦いこれを破り駿府へ突入して今川氏真を掛川城へ逃走させた。この侵攻時に武田勢が大宮城を攻めたとされるが、駿府攻略を優先する武田勢はひと当てしただけで先を急いだものと思われる。

永禄十二年(1569)一月になると後北条氏が今川氏救援の軍勢を駿河に進撃させ、興津に武田勢と対陣した。二月、信玄は穴山信君、葛山氏元らに命じて大宮城を攻めさせたが、後北条氏の後詰めや妨害を受けて撤退している。この後、主家今川氏の没落を受けて富士氏は後北条氏との関係を深めて行くことになる。

四月、信玄は後北条氏との対決を避けて一旦甲府へ帰陣、陣容を立て直して六月に再出陣した。

再出陣の武田信玄は後北条氏を牽制するためにまず深沢城(御殿場市)を攻囲させると本軍を率いて三島に至り、さらに富士郡へ進撃して大宮城を囲んだ。

大宮城の富士信忠にとっては三度目の武田との戦いになる。しかも信玄みずから大軍を率いての城攻めである。さらに後北条勢の後詰めが期待できぬ状況にあった。

それでも大宮城の信忠以下の城兵らはよく善戦して城を持ち堪えたが多勢に無勢では落城も時間の問題であった。苦戦する信忠に対し、北条氏政は退城を勧める書を送った。富士氏を滅ぼすのに忍びなかったのであろう。信忠は武田側に交渉を申し出、穴山信君とのやり取りで七月二日に開城が決した。武田信玄は大宮城に本陣を置き駿河攻略の指揮を執った。

開城後、富士信忠は武田に降ることなく城を退城して後北条氏の拠点となっていた蒲原城に入城した。蒲原城落城後は後北条氏の庇護を受け、小田原に赴いたとも、伊豆河津に居住地を与えられたとも言われる。元亀二年(1571)、小田原に保護されている今川氏真から暇を与える旨の感状を得た富士信忠、信通父子は後北条氏のもとを離れ、翌元亀三年(1572)四月には富士郡を支配する武田氏に属すために甲府へ赴いた。その後富士氏は祭礼を勤める家として遇され、天正五年(1577)には信通が富士山本宮浅間大社の大宮司職を認められ、以後は大宮司家として存続して行くこととなる。

なお、大宮城に関しては武田氏滅亡の天正十年(1582)に後北条氏によって焼き討ちされたされている。