佐久城を築いて猪鼻湖周辺に覇を唱えた浜名左近大夫清政から四代目の兵庫亮持政の弟小五郎利正が当地に屋敷を築いて居住した。堂崎居館のはじまりである。時は南北朝時代の康暦二年(1380)のことである。

嘉慶元年(1387)に利正は屋敷内に珠龍山利正院を建立開基した。しかし、応永十二年(1405)の洪水で屋敷は崩壊流失したとされている。

その後、天文年中(1540頃)に浜名一族の大屋吉太夫光政が堂崎の屋敷跡を修築して居館とした。光政は八代浜名三郎正国の弟大屋安芸守政頼の子である。大屋政頼は浜名氏没落時の永禄十二年(1569)当時、一族家臣をまとめて徳川方に降伏、佐久城を開城したことで知られる。

光政もこの時、武装して佐久城に居たはずである。開城後、城内の将士は徳川勢の本多忠勝と戸田忠次の麾下に加えられた。光政は戸田氏の配下となったらしい。

堂崎の居館は佐久城主となった本多百助信俊の管理下に置かれたという。

現在、居館跡とされる利正院の周辺は宅地、畑地となり、遺構は消滅している。かつて堂崎の湖岸にあって地元の人々に「五輪さま」と呼ばれていた五輪塔群があった。この内の大きな五輪塔は小五郎利正の墓と伝えられている。現在この五輪塔群は利正院の境内に移されて残されている。