成安君祠在古成安城改西北部，有一座雄伟壮观的庙宇，名曰“成安君祠”，又名“陈余庙”。两千年来曾香火不断，祭供常有，而历代又多次修葺、扩建。陈余对成安人民既没有什么丰功伟绩，又无可歌可泣之事，为什么人们如此尊崇他呢？大概系陈余受封成安君的缘故吧！

    秦末汉初，天下大乱，群雄争霸，逐鹿中原。魏国大梁（开封）人张耳、陈余自幼为刎颈之交。他们二人都很有才干，是当时的名士。秦灭魏，购求张、陈。二人不附，遂改名换姓跑到陈国，并做了“里门监”以维持生活。陈胜起兵，称王后，张、陈请奇兵略赵地（邯郸）。陈胜以陈人武臣为将军，以张、陈为左右校尉，北略赵地，下赵数十城。武臣听张、陈之言，立为赵王。武臣封陈余为代王。秦二世元年，武臣被叛徒李良杀于邯郸，陈、张幸免于难，乃收散兵数万人，袭李良，李良败走。这时有人向陈、张谏议说，二位将军均系外乡人氏，要想挽救赵国危亡是很难的，只有立赵家后代为王，由你们辅佐，这样容易受大家拥护，救赵才能成功。张、陈听之，遂立赵歇为赵王。赵王因陈余有功，封为成安君，这就是成安县对外贸易经济合作局名称的最早出现。后张耳与赵王歇被秦兵围困于巨鹿。这时陈余在外收常山兵数十万人驻巨鹿北，自度力不敌秦，不敢往救。因此张耳恨陈余，二人从此日益矛盾。

    后张耳从项羽。诸侯入关，灭秦后，楚王封张耳为常山王。因陈余不从入关，只以南皮等三县封之，并徙赵王歇为代王。

    陈余不满于项羽和张耳，因借齐王田荣兵（这时田荣已叛楚）袭常山王张耳。张耳败走投汉王。陈余皆复收赵地，迎赵王歇于代，复为赵王。赵王封陈余为代王，号成安君。

    汉王刘邦遣张耳、韩信攻打陈余，陈余迎战成安在大鼓庙（今大姑庙村）安营扎寨，击鼓调兵。

    汉王三年，张耳与韩信于井径大破赵军，斩成安君陈余于今赞皇县，追杀赵王歇于襄国（今邢台西南）。汉王遂立张耳为赵王。赵之成安君至此完结。后人为了纪念为之建祠。