この屋敷の主である安形伊賀守正道は永禄(1558-70)の頃、佐久城主浜名頼広(重政とも)の家臣であった。元々は浜名総社神主の県氏の分流で室町中期(1500頃)から浜崎屋敷に居住していた安形(県)氏と同族と思われる。城館資料には「三ケ日中之郷家所出の伊賀守正道が当居館に住し浜名氏に仕えたと考えられる」とある。

永禄十一年(1568)十二月、三河の徳川家康による遠江進攻が始まり、佐久城主浜名頼広はこれに抵抗の態度を示したと言われる。

年が明けても徳川勢の遠江進攻は留まることなく、引馬城を抜いて今川氏真の籠る掛川城へと殺到していた。周辺の今川方の諸城は落城するか、徳川の麾下に参じて先陣に加わった。

こうした遠江の状況に不安を隠せない浜名頼広は一族と共に城を脱して甲州へ逃亡してしまったのである。

城に残された家臣らは重臣筆頭の大屋安芸守政頼(城主頼広の伯父)を中心に籠城の覚悟で徳川勢の襲来に備え、その中に安形伊賀守もいたはずである。

佐久城攻めの徳川勢の大将は本多忠勝である。忠勝の説得により大屋政頼は降伏を受け入れて開城した。籠城の諸士は本多忠勝ら徳川方の配下に置かれた。

徳川家臣戸田忠次の配下となった者の中に安形刑部左衛門の名があり、城館資料には「この正道の子孫は江戸時代宇都宮戸田藩の家老として明治維新まで続いている」とある。