旧吉良町の南部を東西に名鉄蒲郡線が通っており、その沿線近くに姫山陣屋跡がある。姫山陣屋は江戸幕府旗本で典礼取仕切りの高家である吉良氏の陣屋のひとつである。

高家吉良氏は弘治三年(1557)に今川氏により西尾城を追われて駿河国薮田(藤枝市)に幽閉された吉良義安にはじまる(幽閉時期には諸説あり)。義安の没後、子の義定は母(松平信忠又は清康の娘とも)とともに吉良庄に戻った。天正七年(1579)、義定は徳川家康に取り立てられて吉良氏の家督を継いだとされる。家康の関東入りに従い、以後江戸住いとなる。慶長十五年(1610)頃、義定の子義弥(よしみつ)が吉良流礼法の継承者として高家に列せられた。

この時の知行地が三河吉良・幡豆三千二百石と上野国内千石の四千二百石であった。三河の知行地支配の代官所として岡山陣屋が構えられた。そしてその支所(出張)として姫山陣屋が置かれたものとみられている。

元禄期(1688-1703)の吉良家当主上野介義央(よしひさ)のとき、姫山陣屋管轄のもとで陣屋西方の富好新田、北乙川新田の干拓が行われたものと推測されている。元禄赤穂事件の結果、元禄十六年(1703)に吉良家は断絶した。

吉良家断絶の後は旗本津田正房が宝永二年(1705)から岡山陣屋を三千石で引き継ぎ、代々続いて明治に至ったが、姫山陣屋のことは不明とされている。

現在、陣屋の置かれた高台に石碑が建てられており、かろうじて姫山陣屋跡の名残りを伝えているに過ぎない。