三河湾の寺部漁港を見下ろす丘の上に戦国期の幡豆小笠原氏の居城であった寺部城址がある。

永正十一年(1514)七月、小笠原定政が逆臣早川三郎某が籠る寺部城を攻め落とし、その城を居城とした。と「寛政重修諸家譜」にあり、定政を幡豆小笠原氏の祖としている。定政以前のことはよく分からず、三河守護代の小笠原氏に連なるものとの見方もある。定政の後、広正、広重と続いた。

桶狭間合戦後、岡崎城に自立した松平元康(徳川家康)の命を受けた本多平八郎忠勝らの説得により小笠原広重は今川氏を見限って家康の麾下に属した。永禄六年(1563)の三河一向一揆の際には土呂、八面、大草、針崎等の押えに就いた。翌七年、家康は広重と同族で欠城主の小笠原安元に対して「幡豆郡の本領相違あるべからず」との誓詞を与えた。

永禄十一年(1568)、広重と安元は武田氏を警戒して三遠国境の船形山城を守った。この時に小笠原安元は遠江馬伏塚城の小笠原氏清のもとに出向き「徳川殿に従うべし」と説得している。

元亀元年(1570)、広重は姉川の戦いに従軍して戦功あり。元亀二年(1571)には遠江高天神城の小笠原長忠を加勢、翌三年(1572)の三方原合戦時には浜松城の守備に就いた。三方原合戦後、広重は嫡男信元に家督を譲って隠居した。天正十三年(1585)没。

四代当主となった安芸守信元は父とともに船形山城の守備及び三方原合戦に参戦、その後天正三年(1575)長篠の戦い、翌四年(1576)には遠江諏訪原城を守った。天正七年(1579)、駿河持舟城を攻める。天正十年(1582)駿河三枚橋城(沼津城)に詰めた。北条勢との戦いで戦功あり、富士郡内に千石を加増される。天正十八年(1590)の小田原城攻めに従軍、総構外側の福門寺曲輪の夜襲の際に井伊直政や松平康重らとともに信元は手勢二十余人を率いて参戦した。

戦後信元は家康の関東入りに従い上総国周准(すず)郡内二千五百石を賜り、御船手役となる。三河湾における航海技術と経験が評価されたものであろう。

慶長五年(1600)関ヶ原合戦時、知多半島沿岸を略奪していた西軍の九鬼嘉隆に対して小笠原信元は松平家信、千賀孫兵衛らとともに知多半島南端の毛呂崎(師崎)に陣して敵船を乗っ取るなどして九鬼水軍を寄せ付けなかったという。合戦後、呂宋(ルソン)の茶壷を賜る。慶長十七年(1612)富津にて没、歳六十九。

五代当主信盛も御船手役を勤めた。寛永十九年(1642)、向井氏と共に中国、四国、九州の浦々を巡検した。寛文十一年(1671)没、歳六十七。

その後も代々続いて明治に至る。所領地は富津村であったが文化七年(1810)に大堀村に移り、人見に陣屋を構えた。

こんな話が伝えられている。天文十九年(1550)信濃守護小笠原長時は武田信玄との戦いに敗れて没落した。嫡男長隆は子の貞頼を連れて永禄七年(1564)に寺部城に奇遇したとされる。貞頼は姉川、高天神城の戦いに従軍、小田原の陣で戦功をあげた。秀吉の朝鮮出兵時には軍検使をつとめたという。文禄二年(1592)家康の許しを得て南海に渡航、小笠原諸島(父島、母島、兄島など)を発見したとされる。小笠原諸島の名は貞頼の発見に因んだものと言われている。ただ、貞頼の実在を疑問視する説もあり、真偽は定かではないようだ。

現在城跡は城址公園として整備保存されている。本丸跡からの三河湾の眺望はすばらしく、城主小笠原氏が海の武将であったことを物語っている。