吉田町役場の北側に隣接して同町の中央公民館がある。その南庭に植木の影になっているが「増山河内守御陣屋跡」の史跡標柱が立っている。増山氏とは伊勢長島藩(長島城)二万石の藩主のことである。

長島藩主増山氏の初代は弾正小弼正利である。正利ははじめ譜代大名永井信濃守尚政に仕えていたが、姉が大奥に上がり四代将軍家綱の生母(宝樹院)となったことから寛永二十年(1643)に三代将軍家光に召し出された。正保四年(1647)相模国内に一万石を賜り、弾正小弼を称する。万治三年(1660)三河西尾城二万石に転じた。二代兵部小弼正弥(まさみつ)は寛文三年(1663)に常陸下館に移り、元禄十五年(1702)に伊勢長島城二万石に転じ、代々続いて幕末に至った。

増山氏七代弾正小弼正寧(まさやす)は晩年の天保十二年(1841)にその精勤を賞されて五千石の替地を賜った。この替地というのが遠江国榛原郡内のことで、天保十三年(1842)に後継となった対馬守正修(まさなお)の時から実質支配がはじまったと思われる。

増山氏は遠江の替地支配のために田沼街道を擁する下吉田村の大庄屋久保田氏を代官に任じて陣屋を構えさせ、約三十年ほどで幕末に至った。

現在、陣屋跡には昭和四十八年(1973)竣工の吉田町中央公民館が建設されて遺構は消滅している。