その後、五代景忠まで五井を居城として松平宗家の長親、広忠、家康に仕え、戦場を共にして活躍した。六代伊昌の時に天正十八年の関東移封があり、これに従って五井を去った。下総国銚子飯沼二千石を拝領。七代忠実の時に下総国海上郡に加増転封となり六千石を賜る。

元禄十一年(1698)三月、十代半右衛門忠明(ただあきら)が遠江国敷智郡内(六千二百二十九石)に移封となり志都呂に陣屋を構え、七代続いて明治に至った。忠明は今切関所の奉行を元禄八年(1695)から九年まで勤めており、その関係で采地替えとなったのかも知れない。幕末時には二十三ヶ村(志都呂、大人見、新所、古見、鷲津、下都田、上都田、小林、木舟、木舟新田、打上、寺嶋、寺嶋新田、上石田、笠井新田、貴平、前野、草崎、大当所、家田、岩村、片瀬、大平)が五井松平氏の所領となっていたという。

陣屋の南に浜名湖に注ぐ新川が流れている。現在はここに志都呂橋が架かっているが元は築出橋という橋が架かっていた。この橋は志都呂陣屋の松平氏が東海道へ出るのに不便であったから架けたのだと伝えられている。