平安末期、鵺退治で知られる源三位頼政、そしてその鵺の息の根を止めたとされる郎党猪鼻早太の故地が当所であったと言われる。ちなみに猪鼻早太は源三位頼政の父源仲政の養子であったとされるから頼政とは義兄弟ということになる。

鎌倉期には猪鼻早太の孫源貞正入道の名が伝えられており浜名氏を称したようである。その後、浜名三郎左衛門が幕府御家人として登場(「吾妻鑑」)しており、猪鼻湖岸地域の地頭として浜名氏が勢力を張っていたことは確かである。時代を経るにしたがって先祖を源三位頼政とするようになったようで、鎌倉末期の当主二郎頼氏は頼政四代の孫とか、頼政七世とか言われている。

さて、激動の南北朝争乱期、頼氏の次代左近大夫清政は足利方に付いたために南朝方の井伊氏に湖岸鵺代(当時は贄代(にえしろ)と言った)の地を追われて伊勢へ移った。その後、北朝足利勢の巻き返しによって井伊氏は壊滅、遠江の南朝勢は一掃され、浜名左近大夫清政は鵺代の館に復帰した。復帰したのが康永年間(1342-45)と言われる。

故地に戻った清政は戦乱の世を生き抜くための城造りに取り掛かった。猪鼻湖東岸に突き出た岬を利用して築城され、姫街道と湖上水路を押さえる要衝となった。

貞和四年(1348)、清政は鵺代の館から新たに築いた佐久城へ移り、この城を浜名氏歴代の居城とした。

鵺代の居館跡とされる所は禅刹臨海院と隣接する八柱神社の辺りとされるが遺構はみられない。ただ神社に残る樹齢数百年と思われる楠の大木のみが移り行く歴史を黙って見続けている。