源判官代信光が三河国高木(愛知県安城市高木町)を領し、高木氏の祖となった。その後高木氏は三河、尾張に広がって行く。

戦国期、後の徳川家康が松平元康と名乗っていた時期、その麾下に高木九助広正という武者がいた。高木氏の祖信光の庶流というが詳細は分からない。

広正は家康に従軍して多くの合戦に臨み、そのたびに戦功を重ねた。元亀三年(1572)の三方原合戦ではその敗走時に家康の馬が撃たれて斃れた際には自身の馬を家康に与えて無事浜松城へ帰したという。その後も長篠合戦、小山城攻め、長久手合戦と戦功を重ねた。文禄元年(1592)武蔵国比企郡、下総国葛飾郡の内二千石を賜り、慶長五年(1600)の関ヶ原時には忍城(埼玉県行田市)の守衛を命ぜられ、後に忍領三千石を、また養老料千六百石を賜る。慶長十一年(1606)忍にて没する。

広正の後、正綱、正則、正長と続く。元禄十一年(1698)、四千石を知行する正長の時、遠江国豊田、周智、城東の三郡の内に采地替えとなる。

遠江国へ采地替えとなった高木領の代官を勤めたのが宝永四年(1707)に当地へ移り住んだ匂坂武衛門勝行であったとされる。

匂坂氏は磐田原台地の西側を名字の地(匂坂城)とする国人で今川氏時代には有力な今川家臣であり、今川氏没落後は徳川家康に従って活躍した。武衛門勝行はその匂坂氏の支流であろうか。向笠匂坂氏と呼ばれているようだ。

現在、屋敷跡には遺構はなく、標柱と説明板が立つのみである。