西尾市の矢作川と矢作古川の分岐する段丘上の標高23mを最高所とした小島城は三曲輪で構成された直線連郭式の館城であった。現在では自動車部品メーカー大手の某社城山工場建設に伴って城跡は削平され、遺構は消滅、位置さえ分からなくなってしまっている。昭和四十六年(1971)の建設工事に際して城跡にあった「城山稲荷」の碑が工場西側に隣接する西方寺境内に移されて、かつて城跡のあったことを伝えている。

築城時期に関しては不明であるが、享禄二年(1529)に松平清康が小島城を攻めた(「三河物語」)とされ、これが初出なのかもしれない。この時の城主は鷹部屋鉾之助であった。鷹部屋鉾之助は荒川城(市内八ツ面町)主荒川義広の武将で小島城はその支配下にあったらしい。小島城は荒川城の北東約2kmにあり、清康による落城時に鷹部屋鉾之助は城を脱出して矢作古川を泳いで渡り、荒川城へ逃げ込んだと言われている。

松平広忠が富永氏の室城に寄食した天文五年(1536)に小島に出城を構えたことが伝えられている。その後、松平方の武将山田七蔵重宗が城主となっていたが、松平氏の東条城攻略の際に吉良氏に付いたため没落したと伝えられると「定本・西三河の城」にあるが、具体的な年次が示されていない。永禄四年(1561)の松平元康による東条城攻めの際のことであろうか。

山田氏の後に小島城に入ったのは伊奈忠基とされる。二代忠家の嫡男が忠次である。永禄六年(1563)の三河一向一揆の時は一揆方に加担したため敗北、忠家・忠次父子は三河を出奔した。その後、父子は三方原合戦や長篠の戦いで陣借りして活躍、帰参が許された。忠家は再び小島城主に返り咲き、家康の嫡男信康に仕えたという。しかし、天正七年(1579)に築山事件で信康が自刃すると父子は再び三河を出奔して和泉国堺に居た忠家の兄貞吉を頼って身を寄せた。

天正十年(1582)、三十二歳になった忠次は本能寺の変による家康の伊賀越えに貢献、小栗吉忠の寄騎として帰参がかなって小島郷三十五貫文が与えられ、三度小島城に戻ることができた。

天正十八年(1590)、家康の関東移封によって忠次も小島を離れ、武蔵国足立郡小室他一万三千石を拝領して小室藩を立藩した。備前守忠次はその後も代官としての力量を発揮して関東代官頭として幕府の関東支配に貢献した。

現在、城山稲荷碑の移された西方寺は伊奈忠家が永禄五年(1562)に建立し、松平氏菩提寺の大樹寺の末寺として開山したものと言われている。