松平乗謨は洋学に熱心で洋式築城技術に強い関心を持っていたようで、幕府の移転許可を得ると新陣屋を陵堡式星形要塞の形で建設を開始した。国内では函館五稜郭に次ぐ二番目の星形要塞五稜郭となる。規模的には函館五稜郭の約六分の一であり、堀幅も狭く、銃砲戦主体の近代戦闘に耐えうるとは思えないが、藩の兵制もフランス式に改めるなどして洋式軍制の具現化を実行したという点に於いては評価されるべきものであろう。乗謨は慶応元年(1865)に幕府の陸軍奉行、翌年には老中・陸軍総裁となり、幕府陸軍の軍制に関与している。

龍岡城(五稜郭陣屋)の築城は信州移転直後の元治元年(1863)三月より開始され慶応三年(1867)四月には竣工したとされ、総費用四万余円、普請奉行は家老の出井勘之進であった。砲撃の振動や衝撃に耐えうるような石垣の工事に重点が置かれたようで、伊那高遠藩が養成した洋式築城の石工を招いて建設したという。しかし、陣屋格の大名であったため、天守や櫓などの施設が作れず、城内には藩主の住居と政務を兼ねた御殿と藩士の番屋、太鼓楼、火薬庫などが建てられたに過ぎない。また幕閣として要職にあったためか、築城にかける費用の捻出も難しかったようで、城の南西側の堀は未完成の状態で幕末に至っている。

慶応四年(1868)、戊辰戦争が始まると乗謨は陸軍総裁を辞して新政府に帰順した。その後龍岡藩に改称し、明治二年(1869)龍岡藩知事となり、明治四年(1871)に廃藩となる。維新後、乗謨は大給恒(おぎゅうゆずる)と改名して明治十年(1877)の西南戦争時に設立された博愛社(日本赤十字社の前身)の創設に寄与している。