周囲を高い土塁で囲まれていたので俗に土居城と呼ばれたらしいが現在では確認できない。築城の時期は明確ではないが、鎌倉初期から戦国期にかけて存続したと見られている。

城主に関しても詳細は不明であるが、戦国期には浜名氏(佐久城主)の一族大屋氏の居城となっていたようである。

大屋氏は応永(1394-1428)の頃は大矢と名乗っていたが右衛門尉重次(時期不明・永正(1504-21)の頃か)の時に大屋に改めたとされる。浜名氏は代々その嫡流が名乗り、分家は大屋を名乗って臣下となった。

永禄(1558-70)の頃には浜名肥前守頼親の三男である大屋左馬亮正景(政景)が土居城に居たとされる。

運命の永禄十一年(1568)暮、三河の徳川家康が遠江へ侵攻を開始した。ときの浜名氏当主は肥前守頼広(重政)である。先の頼親の孫である。当初、頼広は今川への忠義心から徳川に反抗の態度を示した。年が明けると、あろうことか頼広は子の政仲、正綱を伴って佐久城を脱して甲斐へ走ってしまったのである。大将不在の佐久城は土居城主大屋正景の兄で家老の安芸守政頼が籠城の将士を束ね、大屋正景らは討死覚悟で徳川勢の襲来に備えた。

二月、本多忠勝の率いる徳川勢が佐久城に迫った。大屋政頼は本多忠勝の説得に応じ、城を明け渡して降伏した。籠城の将士の多くは徳川方の配下に加えられた。

しかし、大屋正景のその後は分からない。居城の土居城は「浜名氏が没落の時廃墟となったらしい」と城跡に立つ説明板にある。