元和五年(1619)に徳川家の旗本である服部権太夫政信が将軍徳川秀忠から遠江国今切関所(新居関所)奉行を命じられ、武蔵国太田庄三千石(埼玉県南埼玉郡宮代町)から遠江国敷智郡に五百石加増されて封ぜられた。この時に居所(陣屋)としたのが当地である。

服部氏の祖は伊賀国服部の住人とされ、永禄三年(1560)に徳川家康へ仕官したという。正信の父、与十郎政光(政季とも)は徳川家重臣高力清長の娘を娶った。小田原の陣(天正十八年/1590・小田原城)に際して本多忠勝に属して御使番を勤めた。家康関東移封により、武蔵国太田三千石を賜る。関ケ原後には近江国長浜に千石を加増され、大坂冬の陣にも参陣した。夏の陣にも従軍したようだがこの年慶長二十年(1615)四月に京都にて没した。

政信も関ケ原合戦に際しては御使番を勤め、武蔵国臼井五百石を賜る。大坂冬の陣、夏の陣にも父と共に参陣御使番を勤める。父の死により三千石を引き継ぎ三千五百石となる。その後、五百石加増されて遠江国へ移封となる。

政信が遠江国移封となったとき、高力忠房が浜松城主となって封ぜられており、高力家との関連があったのかもしれない。

政信は弟の杢助政重(千石)と共に二人制奉行として関所番を勤め続け、この地で生涯を終えたという。