ここ小島の地に陣屋を構えたのは滝脇松平信治で、高一万石の譜代大名である。宝永元年(1704)のことであった。

　一万石の諸侯に列したのは先代信孝(のぶなり)の時である。信孝は寛文十一年(1671)に松平乗清を始祖とする滝脇松平氏の六代重信の養子となったもので、将軍綱吉の若年寄を務めた。重信は明暦二年(1656)に駿府城代を務めて加増を受け、安倍、有度、庵原の三郡五千石を拝領し、元禄二年(1689)の信孝の時にさらに加増(関東内)されて一万石となって立藩、初代藩主となった。

　そして元禄十一年(1698)二代信治に至り、知行地を安倍、有度、庵原三郡にまとめられて小島に陣屋を構えることになったのである。以後、十代、百六十四年間、転ずることなく譜代大名として明治に至った。

　藩政の理念として臨済宗の僧白隠禅師が三代藩主信嵩(のぶたか)に善政指南の書を贈り、「治国安民の教え」を説き、歴代藩主はこれを治世の標として受け継いだと言われている。

　しかし、藩財政の窮乏は立藩当初より改善されることはかったようで、四代藩主昌信(しげのぶ)の時代に年貢増徴による藩政改革が実施されるに至った。これによって百姓の生活を困窮させ、明和二年(1765)ついに百姓一揆が起きてしまった。藩も民衆も極限の状態にあったといえる。一揆の結果、藩は年貢を従前通りに戻さざるを得なかったようだ。当然、藩財政の窮乏はその後も続くことになった。

　家臣数の維持にも苦慮していたようである。一万石大名の抱えるべき家臣の定数は二百三十五人であったが、安政期(1854-60)の分限帳によれば百二人であったとされる。定数の半数以下である。そこで藩は百姓を武士に取り立てて譜代足軽とし、通常は農事に従事して定期的に陣屋へ出仕させて家臣数を補ったとされている。

　文化面で特筆されるのは「黄表紙の祖」といわれた恋川春町こと倉橋格(いたる)を輩出したことであろうか。倉橋格は百石取りの藩士で、五代藩主信義(のぶのり・明和八年/1771-寛政十二年/1800)の時代の人である。黄表紙というのは時代を風刺した戯作で絵と文章で表現した大人向けの絵本とも言えるものだ。

　慶応四年(1868)五月、徳川家達が駿河・遠江七十万石をもって駿府に封ぜられ、静岡藩が立藩された。これにより小島藩最後の藩主となった十代信敏は上総国桜井に転ずることになり、陣屋は廃された。