国分寺は奈良時代の天平十三年(741)、聖武天皇による国分寺建立の詔によって全国に建てられた寺院である。天平七年(735)から同九年(737)にかけて疫病(天然痘)が大流行し、人民の四人に一人が亡くなり、朝廷の高位にある者まで病死したという。さらに天災、飢饉、政情不安が重なり、聖武天皇は深く仏教に帰依して国家鎮護のために先の詔を発したのであった。

遠江に於いては磐田原台地の南端部で国府に近いところに建立された。現在の磐田市役所の北側である。発掘調査の結果、各門や回廊、金堂、講堂、塔などの伽藍配置が明らかとなり、国指定の特別史跡となって整備保存されている。

国分寺は国分僧寺と国分尼寺が同時に建立され、正式には前者を「金光明四天王護国之寺」、後者を「法華滅罪之寺」と呼ぶ。僧寺には僧二十人が、尼寺には尼僧十人が置かれたという。　　

建立にあたっては国司がその造営に携わったというが、滞りがちであったとも言われる。この当時の遠江国司は百済王の子孫である百済王孝忠(くだらのこにきしこうちゅう)で天平十年(738)に遠江守に任ぜられている。天平十三年(741)にも重任されたということで、国分寺建立の指揮にあたったことは間違いないと思われる。国分寺の完成は天平十七年(745)とされる。

その後、弘仁十年(819)に火災の記録が見られるが国分寺としては平安中期(11世紀)頃までは続いたと推定されている。治安二年(1022)に大風で講堂と仏像が損壊し、万寿五年(1028)に遠江国司源安道が再建の申請をしていることなどが知られている。また文治二年(1186)には源頼朝が遠江守護安田義定に国分寺の破損、転倒の復興を命じている。この頃にはかなり衰退した状況にあったようだ。それでも室町期の大永二年(1522)、見付(見付端城)の堀越氏延が寄進の鰐口に「奉懸国分寺御宝前…」とあることから寺として存続していたとみられている。

江戸期を通じても薬師堂などが建てられ、人々の信仰を集めていたが明治期に一旦廃寺となる。昭和初期に再興され、現在は遠江薬師四十九番札所の第一番札所参慶山国分寺として地域の人々によって薬師堂が維持されている。