南宋绍熙年间，右丞相赵汝愚(1140年~1196年)，由于被奸佞所诬，被贬为永州宁远军副使。1196年，赵公行至衡州，被衡州守臣钱堥奉韩侂胄密意所害，棺厝江东开福寺(现开福巷内)。天禧三年(1207年)，赵汝愚被平反后，于衡州府建祠祭之，名为“汝愚祠”。因赵公为官清廉，百姓传说汝愚死后升天，成为宣灵大王，故该祠又称为“宣灵庙”，以昭汝愚其人。久而久之，庙西侧居民区便成了“汝愚里”，庙东侧居民区便成了“宣灵村”。

　　后来，该庙年久失修，破败倒塌，解放后，其旧址处建成了珠晖区东站路小学，而汝愚里、宣灵村之地名一直沿用至今。