東条城の北400mほどのところに「椿屋敷址」の石柱が建っている。これは昭和二十八年(1953)に吉良史蹟保存會によって建てられたもので、周辺よりわずかに高い土地となっている。戦国期に吉良義安(よしやす)の妻俊継尼(しゅんけいに)が遺児義定(よしさだ)を連れて当地に居を構え、椿屋敷と呼ばれたという。

吉良義安は西条城(西尾城の前身)主吉良義堯(よしたか)の次男で、東条城主吉良持広の養子となっていた。天文八年(1539)、吉良持広が没して義安が東条吉良氏を継いだ。翌年、西条吉良義堯の後を継いだ義郷(よしさと)が織田氏との戦いで討死、義安は西条吉良氏も継ぐことになった。天文十六年(1547)になると義安は織田方に付いたために同十八年(1549)今川方に攻められて降伏している。しかし、弘治元年(1555)には義安は再び織田方に転じたために今川氏は義安を捕らえて駿河国薮田(藤枝市)に幽閉してしまった。義安は永禄十二年(1569)、薮田で没した。

義安の薮田幽閉時、妻の俊継尼も夫とともに薮田に住した。俊継尼は松平清康の娘で徳川家康の叔母にあたる(諸説あり)。俊継尼は薮田で一男一女をもうけた。その一男が義定で、永禄七年(1564)の生まれである。

義安の没した永禄十二年(1569)の暮れ、駿河は武田勢の蹂躙するところとなり、薮田のすぐ近くの田中城にも武田勢が殺到していた。俊継尼は戦火を避け、子等を連れて三河吉良の地に戻った。

吉良に戻った俊継尼親子が居所としたのがここ瀬戸の椿屋敷であった。椿屋敷は松平清康の妹で吉良持広の妻となった常在院が住まったところで、人々からは「瀬戸大坊」と呼ばれていた。常在院は俊継尼の叔母にあたる。

天正七年(1579)一月、徳川家康が鷹狩りで吉良に寄った際に俊継尼と義定に面会した。そして食禄二百石を与え、義定に出仕するように告げたという。まさに吉良家の再興はこの椿屋敷からはじまったとえる。

その後、家康のもとに出仕した義定は岡山に屋敷を構えた。関ヶ原合戦後、義定の嫡男義弥(よしみつ)が吉良に三千石を賜り、屋敷は岡山陣屋としての機能を果たすことになった。俊継尼も岡山の屋敷で、慶長十四年(1609)に亡くなった。寛永四年(1627)、義定も岡山で没、享年六十四歳であった。