関ヶ原合戦後の慶長九年(1604)、武蔵国瓶尻五千石を拝領する徳川譜代の三宅康貞が一万石に加増転封となったのがここ衣(挙母)の地であった。
　もともと三宅氏は猿投地域(豊田市)の土豪であり、明応二年(1493)には松平親忠と戦い、享禄三年(1530)から天文二年(1533)にかけては近在の土豪衆と連合して松平清康と戦っている。いずれも負けはしたが土地を守るために一所懸命であったことが分かる。その後、三宅康貞の父正貞は岡崎城に自立した徳川家康に降って家臣となった。永禄九年(1566)のことである。以後、家康譜代の臣として各地の戦場で武功を上げ、天正十八年(1590)の関東移封に際して五千石を拝領したのであった。
　さて、三河に戻った康貞は初代衣藩主として藩庁の所在を定めなければならない。古来、衣の地は中条氏の領する所で、二百五十年ほど金谷城がその居城であった。しかし、打ち続く戦乱で城は荒れていた。そこで康貞は金谷城の北約1kmの地に新城を築くことにした。正確には城持ち大名ではないので陣屋である。矢作川の水運と岡崎、尾張、信濃への交通の要所であったことによる。また、周辺には桜が多く植えられたことから佐久良城と称された。
　二代藩主康信の時、元和五年(1619)に伊勢亀山藩に移ったが寛永十三年(1636)に三代藩主康盛が再び衣藩に返り咲いた。寛文四年(1664)、四代藩主康勝は三河田原藩一万二千石(田原城)に転じて衣藩は天領となった。
　天領時代の代官鳥山牛之助精元は治水工事や養蚕奨励などで辣腕を振るった名代官であった。
　元和元年(1681)、本多忠利が磐城石川藩(白河城)から一万石で入封し、三宅氏の後に廃された同地に再び陣屋を築いた。本多氏は三代続いたが、この間に「衣」から「挙母」に改められた。