織田信長の側近のひとりに堀秀政がいる。堀秀政は従兄弟の堀直政とともに信長のもとで、また豊臣秀吉のもとで活躍、直江兼続や小早川隆景とともに天下の三陪臣に数えられた。晩年は越後春日山三十万石堀秀治の家老として藩政を取り仕切ったが直政の死後、お家騒動により改易となる。浪々の身となった直政の子直之は大坂の陣における奮戦を賞されて千石を賜り、元和二年(1616)には越後椎谷五千石に加増され移った。晩年には九千五百石にまで加増を受けた。

寛永十九年(1642)、直之の後を継いだ嫡男直景は一万石の大名として上総国苅谷藩を立藩した(後に越後椎谷一万石に移る)。この時に直景の末弟直氏が甲斐国山梨、相模国高座、下総国香取の三郡の内千五百石を分知されて旗本に列した。

元禄元年(1688)、直氏の子直能が継ぎ、宝永二年(1705)に采地千五百石を遠江国豊田郡の内に移される。その後、直達、直正、直従、直道と続いた。

堀氏陣屋は直能が遠江国へ采地替えとなった際に設けられ、代官が置かれた所である。

現在残る陣屋の長屋門は綺麗に維持され、在りし日の雄姿を今に伝えている。