永禄十一年(1568)十二月、徳川家康の遠州討入りの先導役を果たしたのが井伊谷三人衆であり、そのひとりが近藤康用であった。子の秀用は家康とともに各地の戦場を馳駆し、姉川合戦、三方原合戦、小田原攻め(小田原城)と戦功を上げた。大坂の陣が終わって天下が安定する頃、元和五年(1619)に遠江井伊谷に一万五千石を拝領して封じられた。その後、秀用は子等や甥に所領を分知してそれぞれ旗本として自立させた。金指近藤家、気賀近藤家、井伊谷近藤家、大谷近藤家、花平近藤家がそれでいわゆる五近藤と呼ばれるものである。

　大谷に陣屋を構えた近藤氏は気賀五千三百石を領知していた近藤用可の庶長子である用行を初代として始まった。用行は庶子であったために気賀本家を弟用治に譲り、大谷二千石を分知されて寛永元年(1624)に自立した。寛永八年(1631)に祖父秀用の遺領の内四百石が加えられた。寛永十年(1633)には五百石が加増され、新田を含めると三千石となった。

　陣屋が最初に構えられたのは摩訶耶村(北区三ヶ日町摩訶耶)であったようだ。二代用高が延宝九年(1681)頃に当地へ陣屋を本格築造したものとされる。以後、天保十三年(1842)に七代用誉が内野村(浜北区内野)に陣屋を移転するまで160年ほど続いた。

　現在、陣屋跡は蜜柑園となり、説明板の立つ所に井戸跡が残るのみである。陣屋跡のすぐ南側には代官屋敷と呼ばれる邸宅がある。基本的に旗本は江戸住まいであったため、領地支配は代官が務めることになる。その代官の役目を担ったのが大野氏であり、現在もその屋敷跡に御子孫が邸宅を構えて御健在なのである。