平安後期、山名荘が熊野山領として成立した。その南端、摂関家の浅羽荘との境に位置するのがこの居館跡である。

十二所という小字名が示すように当初ここには熊野十二所権現の社殿が設けられ、その後の鎌倉期には土塁と堀を方形に廻らした中世居館に整備されたものと見られている。しかし、誰がここを居館としていたのかは残念ながら今のところ不明なのである。

戦国期、ここ山名郡諸井郷の領主として知られるのは今川家臣の伊達氏である。伊達氏と今川氏との関係は古く、南北朝期に今川氏として最初に駿河国守護となった今川範国の時代に遡る。その後、歴代の今川当主に仕え続け、子孫は諸井郷を所領とし、今川義元、氏真からも当地を安堵されている。

この伊達氏、永禄十二年(1569)の今川氏没落後は高天神城主の小笠原氏とともに徳川家康に従い、天正二年(1574)には高天神城に籠城して武田勝頼の軍勢と戦っている。この戦いで命を落とした伊達氏もいれば、落城後に武田氏に従った一族もいる。この戦いで討死した伊達山城守景忠の子孫は徳川家の旗本として続いた。しかしながら伊達氏がここの居館の主であったとの確証はない。

高天神城落城後、徳川家康は馬伏塚城を対武田の前線拠点として補強し、大須賀康高を城主とした。この馬伏塚城補強に際して徳川勢が陣所としてこの居館跡を利用したと見られ、居館南側に構築された外枡形虎口はこの時のものと推測されている。

現在、居館跡の北側半分の地には曹洞宗心宗院が建ち、南側半分は諸井十二所公園となっている。平成五年(1993)から発掘調査が実施されたが、その後は埋め戻されている。