戦国期、上伊那の箕輪地域に勢力を張った藤沢氏であるが、その出自に関しては諏訪神氏の傍流であるとか諸説あって明確ではない。少なくとも室町時代の康正三年(1457)頃には箕輪郷に勢力を保持していたとされている。

　天文十一年(1542)九月、諏訪における高遠頼継の反乱を撃破した武田晴信は駒井高白斎指揮の軍勢を上伊那に進攻させ、福与城を囲んだ。福与城は箕輪の領主藤沢氏の居城であったのだ。城主は藤沢頼親、妻は信濃守護小笠原長時の妹であった。あっという間に城を囲まれた頼親は抵抗することなく降伏して武田に従った。

　しかし、小笠原氏との縁を重んじた頼親は侵略者武田には反抗的であったと言われている。天文十三年(1544)には周辺土豪を巻き込んで武田離反の態度を明確にするに至った。この二年の間に城も再整備されたものと思われる。この年の十月に武田晴信は上伊那に軍を進め、松島付近を焼いて福与城に迫ったが、その堅塁ぶりを偵察すると引き上げている。

　天文十四年(1545)四月、武田晴信は一気に高遠城まで軍を進めて攻略した後に福与城を攻囲した。高遠城をはじめ周辺の城が簡単に落ちているのに福与城だけは怒涛の武田勢をもってしても落ちなかった。余程、攻めにくい城であったのだろう。それに加えて藤沢氏以下城兵の士気は旺盛であった。北からは義兄の小笠原長時勢が、南からは松尾城の小笠原信定ら下伊那衆が援軍を繰り出していたからである。

　しかし武田方の対応も手堅く、南からの下伊那衆に対しては牽制の軍勢を派遣して近づけず、北の小笠原勢に対しては板垣信方の軍勢が急行した。板垣勢は小笠原長時布陣の竜ヶ崎城(辰野町)を攻撃してこれを駆逐、長時は福与城からの再三の援軍要請に応えられず撤収してしまった。

　六月、援軍の望みが消えた福与城内では城主頼親が弟権次郎を人質に出して武田の和議を受け入れた。開城した福与城は武田勢によって焼き払われて灰となったが、武田を五十日間悩ませて落ちなかった城としてその名は後世に語り継がれることになった。

　天文十七年(1548)、上田原の戦いで武田が敗北すると藤沢頼親は武田を離反して府中の小笠原長時のもとに身を寄せた。

　天文十八年(1549)には武田氏によって福与城に鍬立が行われたと言われるが、その後史上に現れることはなく、武田の拠点にはならなかったものと思われる。

　天文十九年(1550)、小笠原氏の本拠の林城(松本市)が武田氏によって落とされ、長時は没落した。藤沢頼親も流浪の身となり、上洛して三好長慶に仕えるなどしたという。

　時は流れて天正十年(1582)、武田が滅び、さらに本能寺の変で織田信長が斃れると信濃は無主の地となった。ここ箕輪の地では郷士らが決起して流浪の藤沢頼親を迎え、田中城(福与城の南西1.5km)を築いて結束した。頼親の拠ったのは福与城とする説もあるが、箕輪町誌では田中城としている。頼親は他の南信諸氏と共に佐久に進出していた後北条氏に使いを立てて麾下に属することになった。

　ところが、徳川勢が南信に進出すると南信諸氏は家康の傘下に従った。高遠城を奪還して居城としていた保科正直も同様に家康に鞍替えして頼親の籠る田中城に迫ってきたのである。田中城の頼親と箕輪衆は三日三晩防戦したが城兵の多くが討死し、もはやこれまでと頼親は城に火を放って切腹して果てた。