皆川氏は戦国時代、下野国皆川城(栃木市)を居城とし、宇都宮氏、後北条氏、上杉氏らの間で離合と抗争を繰り返して生き抜いた国人である。天正九年(1581)、皆川広照は徳川家康と関係を持ち、天正十八年(1590)の小田原征伐時には籠城中の小田原城から出て家康に投降、所領を安堵された。

慶長八年(1603)、皆川広照は家康六男松平忠輝の御付家老となり、忠輝が信州川中島に移ると同行して飯山城主七万五千石の大身となった。しかし、慶長十四年(1609)、広照が粗暴で諌言を無視する忠輝の行状を家康に訴えると、逆に讒言であるとして改易されてしまう。

大坂の陣で広照は嫡男隆庸とともに井伊隊に属して参戦、夏の陣(1615)の隆庸の戦功が評価されたのか元和九年(1623)に赦免、常陸国府中一万石を拝領して府中藩主となり隆庸も同国内に五千石を賜った。寛永二年(1625)、広照隠居により隆庸が家督継承、一万五千石となる。

正保二年(1645)、隆庸没して嫡男成郷(なりさと)が継ぐ。この時、次男の秀隆が五千石を分知されて旗本に列した。府中藩の方はこの年に成郷が嗣子なく没したために断絶となった。

旗本となった皆川秀隆は甲府城(山梨県)や下館城(茨木県)の守衛を勤めた。明暦三年(1657)三十二歳で没、子広隆が継いだ。広隆は元禄十年(1697)頃、常陸国行方郡の領内で灌漑用水や運河の事業を実施して水不足の解消を行ったとして善行が讃えられている。

元禄十一年(1698)、広隆は所領を遠江国豊田、山名、周智の三郡内に移され、豊田郡一言村に陣屋が構えられた。以後、代を重ねて明治に至る。

現在、陣屋跡は畑地、宅地となり、遺構は見られない。畑の中に看板が立つのみである。他に陣屋の門が700mほど北の智恩斉の山門として移築されている。