ここの屋敷の主であった渥美源五郎勝吉は高天神城主小笠原長忠の配下であり、有事の際には他の周辺地侍らとともに高天神城に馳せ参じて守りに就いた。

永禄十一年(1568)、小笠原長忠は徳川家康に属したことで、元亀三年(1572)には三方原合戦に参戦した。この際に父源五郎重経が戦死して若干十七歳の源五郎勝吉が家を継いだ。渥美家は代々源五郎を名乗りとした。

天正二年(1574)、武田信玄の後を継いだ勝頼が高天神城に攻め寄せた。渥美源五郎勝吉は高天神城の本丸に詰めた。勝頼の城攻めはすさまじく、西の丸を落とした武田勢は本丸に迫る勢いであった。落城も時間の問題と思われたとき、勝頼は和談を申し入れた。城兵の進退は武田方、徳川方どちらにするも自由とされた。城主小笠原長忠は家康の援軍の当てが外れた今となっては城兵の命を救うためにも和談を受け入れて開城するしかなかった。城主小笠原長忠と共に武田方に従った者たちを東退組と呼び、徳川方に帰参した者たちを西退組と呼んだ。

渥美源五郎らは西退組として徳川方の馬伏塚城(袋井市浅名)へ退去した。馬伏塚城には大須賀康高が城主として入り、渥美源五郎らは大須賀康高の組付となった。天正三年(1575)の長篠合戦で徳川家康は渥美源五郎の戦功に対して「御革羽織」を与えたという。

天正六年(1578)、家康は高天神城の押さえとして横須賀城(掛川市西大渕)を築き、大須賀康高を配した。渥美源五郎らも横須賀城に移り、横須賀衆と称された。この年、武田勝頼が高天神城への兵糧補給のために遠江へ侵入、横須賀城にも迫った。横須賀城外で両軍が合戦となり、渥美源五郎は一番首の功名を上げた。家康は渥美源五郎に革の胴服を与えて褒めた。

武田勝頼が高天神城への補給を終えて引き揚げた後、渥美源五郎は勝頼が補給基地として補強されたという相良城(牧之原市相良)を物見するために足軽らを引き連れて七人で夜間に横須賀城を出た。物見を済ませて帰るとき、佐倉村(御前崎市佐倉)の坂で馬上三騎足軽雑兵合わせて十六人の武田方の一隊と遭遇した。彼らもまた横須賀城の物見の帰りであったらしい。夜明けの時間帯で朝霧が深かったという。渥美源五郎は果敢に馬上の二人を突き殺し、徒歩の四人も突き斃して首を取った。この六つの首を横須賀城近くに陣していた家康のもとへ送り、大いに賞賛されたという。

この遭遇戦の後、渥美源五郎のことを「国と天下は上様とらる、渥美源五は首取り源五」と囃され「首取り源五」とあだ名された。天正九年(1581)、高天神城落城。その後も大須賀康高のもとで数々の武功をあげて活躍した。

天正十七年(1589)、大須賀康高、没。忠政(養子・榊原康政の長男)が継ぎ、天正十九年(1591)に上総国久留里城三万石に封ぜられると横須賀衆もこれに従った。渥美源五郎ら横須賀衆の主だった者には家康から妻子料として三百石(千葉県袖ケ浦市横田)が与えられた。

慶長六年(1601)、大須賀忠政は横須賀城六万石に加増移封となり、横須賀衆も横須賀に戻った。慶長十二年(1607)、忠政、二十七歳にして病没。嫡男国千代(後に忠次)がわずか二歳で大須賀家の家督を継いだ。後見は大須賀康高の弟五郎兵衛康胤に決まった。ところが「五郎兵衛の下知に従ういわれはない」と横須賀衆にはこの人事が気に入らなかったらしく横須賀を去る者が多かったという。渥美源五郎もこれを機に知行所である土方村の屋敷に隠退して元和二年(1616)に六十歳で没した。

元和元年(1615)、藩主大須賀忠次は上野国館林藩主榊原康勝の家督を継ぐことになり、横須賀藩は廃藩となった。旧大須賀家臣は家康十男徳川頼宣に付属されることとなり、源五郎勝吉の嫡男正勝も頼宣の家臣となった。元和五年(1619)、頼宣は紀伊国和歌山(和歌山城)に封ぜられることになり、正勝もこれに従って紀州へ移った。その後、渥美家は代を重ねて明治に至った。

ちなみに渥美源五郎が屋敷を構えた場所は元は今川家臣の大石氏の屋敷地であったもので、正勝が紀州へ移る際に再び大石氏に返還したのだとされている。現在も大石氏の住宅地となっている。

「首取り源五」の異名をとった渥美源五郎勝吉の屋敷跡には土塁が残るのみで当時の規模など分からなくなっている。それでも戦国乱世の血生臭い時代を生き抜いた男の生き様はこれからも語り継がれて行くことだろう。