平安末期、伊那源氏片切兵庫為行は八男八郎宗綱を片切郷の南にある大島郷に分知した。宗綱は郷名を名乗って大島氏初代となる。

　大島氏は中世を通じて一帯を領有して大島城を築いたとされるが、その時期に関しては不明である。鎌倉期、室町期には宗家片切氏と共に守護小笠原氏に属していたものと思われる。

　天文二十三年(1554)、伊那地方は甲斐の武田晴信(信玄)の支配下に置かれ、家臣秋山信友が伊那郡代として飯田城に入った。大島氏は片切氏(船山城)らと共に武田氏の麾下に属し、その軍役に服した。

　元亀二年(1571)、武田信玄は遠江、三河の攻略拠点とするために大島城の大改修を秋山信友に命じた。この際に下伊那郡十九の郷民と二衆が改修工事に動員されたことが伝えられている。現在、見られる遺構はこの時のものである。

　元亀三年(1572)、秋山信友は東濃岩村城を攻略して織田信長に備えるために伊那を去った。この頃、武田家臣の日向玄徳斎宗栄が大島城代として入城したものと思われる。

　天正九年(1581)、信玄亡き後を継いだ武田勝頼は織田信長の侵攻に備えて、大島城に信玄の弟武田逍遥軒信綱(信廉)を配した。逍遥軒信綱は風貌が信玄に似ていることから信玄の影武者と言われた武将である。

　天正十年(1582)、信長による甲州征伐がはじまった。

　織田信忠率いる織田勢は伊那路を快進撃して二月十四日には飯田城が落城した。そして十六日にはここ大島城に織田勢が迫った。

　大島城には城代日向玄徳斎と武田逍遥軒信綱、小原丹後守、安中七郎、依田能登守以下七百余人が守備に就いていた。

　ところが、この日の夜中に武田逍遥軒が城を抜け出て逃亡してしまったのである。しかも、上原城(茅野市)に陣していた武田勝頼にも会わずに甲斐へ逃走してしまった。織田勢の予想外の猛進に驚き、恐れをなしたのだと言われている。

　このため城兵の多くが逃走して大島城は自落同然の状態で織田勢に占領されてしまった。それでも、旧城主の大島為継や宗家の片切政忠らは自害、もしくは潔く戦死したと伝えられている。ちなみに武田逍遥軒は勝頼自害(景徳院)後、織田方に捕らえられて府中立石(甲府市)にて斬首された。

　その後、大島城の名は文献に見えず、廃城となったものとされている。