二代将軍徳川秀忠そして三代将軍徳川家光に新陰流をもって兵法指南役となった柳生但馬守宗矩は寛永十三年(1636)には加増に次ぐ加増を受けて一万石の大名に列した。剣豪の立場で大名となったのは日本史のなかでは後にも先にも彼ただ一人である。

　柳生藩を立藩した宗矩はまず寛永十五年(1638)に亡き父石舟斎宗厳の菩提を弔うためにかつての城跡(柳生城)に芳徳寺を創建し、続いて三年の歳月をかけて当地に藩庁とする陣屋を建築した。ただ、通常は江戸住まいであったため、帰藩することは稀であったようだ。

　陣屋完成(寛永十九年/1642)から四年後、宗矩は江戸麻布の屋敷で没した。父石舟斎が徳川家康の前で「無刀取り」の秘技を披歴(文禄三年/1594)して感動を得て以来、宗矩は徳川家の兵法指南役として仕え続けた。剣術を単に相手を斃すための技術としではなく「活人剣」としての理念を説き、統治者として如何に在るべきかを指南した。

　宗矩の跡を継いだのは長男の十兵衛三厳(みつよし)である。彼もまた父に劣らぬ兵法家として知られる。十三歳で家光の小姓となり、家光の将軍就任後も側近として仕えていたが寛永三年(1626)の二十歳の時に家光の勘気にふれて致仕した。以来、柳生の地に戻り、子弟の育成と自身の研鑽に専念していた。家督を継ぐまでの二十年、この間に彼は諸国を遍歴して遠国大名の動静を探っていたのだという隠密伝説もある。惜しいことに三厳は家督継承後四年で急死した。

　三代藩主となった飛騨守宗冬は宗矩の三男である。兄三厳の急死によって家督を継承した。四代将軍家綱の兵法師範をつとめ、三厳の時に八千石の旗本となっていたが、加増を受けて再び一万石の大名に復帰した。父や兄に比して温和な剣豪といった観がある。

　宗冬の後、宗在、俊方と続き、六代藩主からは他家からの養子縁組によって藩主は十三代まで続いて明治に至った。

　陣屋は三代藩主宗冬の時に増築整備されたが、延享四年(1747)七代藩主俊峯のときに火災により全焼してしまった。その後は仮建築のまま明治を迎え、廃藩により姿を消した。

　現在、陣屋跡は建物跡を模した公園として整備されている。