西島陣屋は旗本菅谷氏四千五百石の陣屋で地元では菅谷陣屋と呼ぶ。戦国期、菅谷氏は常陸国の戦国大名小田氏の重臣であった。

小田氏は現在の茨木県筑波地域の大名で小田城を居城としていた。菅谷氏が小田氏の家臣として知られるようになるのは十二代小田政治のときで、菅谷隠岐守晴範の名が伝わっている。永正十三年(1516)には晴範の子勝貞が土浦城を攻略して後に城主となった。その後、小田氏は氏治の代となり関東公方、後北条氏、上杉氏、佐竹氏、結城氏らに翻弄されるようにして戦国時代を生き抜いたが、しだいに劣勢となって行く。それでも菅谷政貞(勝貞の子)、範政父子は小田城を失った主君氏治を土浦城に迎えて忠節を尽くし続けた。

天正十八年(1590)、豊臣秀吉によって小田原城が落城して後北条氏が滅んだ。天下が大きく変わろうとするとき小田氏治は小田城奪回を夢見て佐竹氏との抗争に明け暮れていたのである。秀吉は無情にも氏治に対して所領没収の沙汰を申し渡した。失意の氏治は結城秀康の客分として三百石を給され、後に秀康の越前転封に従って移った。菅谷政貞は氏治を見捨てることが出来ず、生涯仕え続けたという。政貞の子範政は野に下り隠棲したらしい。

文禄の頃(1592-96)か、甲府城主で東国大名取次役であった浅野長政が小田氏に忠義を貫き通した菅谷氏のことを徳川家康に話したという。文禄五年(1596)、家康は菅谷範政を呼び「これよりわしに仕えよ」と上総国平川に千石を与えた。旗本菅谷氏のはじまりである。

慶長八年(1603)、範政は常陸国筑波に五千石を給されて移り、手子生(てごまる)城を居城とした。かつての小田氏の領域である。感慨深いものがあったに違いない。

元禄十一年(1698)、菅谷氏は遠江国山名・豊田両郡十七ヶ村四千五百石に国替えとなり、西島村に陣屋を構え、幕末に至った。