列为南雄六景之一的“阴晴塔影”─“三影塔”，因塔有三影而得名，而且传闻颇多。《直隶南雄州志·古迹略》记述“阴晴塔影”中记载：在延祥寺中，祥符二年(已酉年)，有一异人建造了一座塔，其塔不管睛天还是阴天，庙堂的壁上都可反射出三个塔影，一影向上，两影倒悬。传说，如果影塔照在厅堂则为吉兆，照映在寺壁则为凶相。因此，塔被称为“三影塔”，庙堂被称为“三影堂”，“三影堂”早已不复存在，但“三影塔”却屹立至今。

明礼部尚书、大学士丘浚，景泰丙子年(西元1456年)作《延祥寺浮图记》一文中记载：“延祥寺在南雄府治东二里，宋大中祥符间僧祖善始建。寺有浮图盖自孙吴时僧康会创于金陵始，及晋南迁，重加修饰，天下仿而为之。于是，下至偏州小邑，无不见之以为标表焉。”

三影塔已有近千年了，为何有三影，旧志并未记载。从三影特性上，根据光学原理推测，塔的一边必有两口水塘。《延祥寺新创弥陀殿观音记》碑文云：“塔后余地旧为旷芜之场，僧闒教庳，丛林湫隘”。此地很可能旧为水塘。而且两塘与一塔成一直线时，当太阳与塔、塘形成一直线时，在一定角度上就能在壁上出现三影，一影为直映于壁的塔影，塔尖向上；二影为两水塘中的倒影反映于壁，塔尖向下。因为一年四季大阳位置不同，故太阳与塔、塘形成直线的时间、角度也不同，所以有时三影在厅堂，有时三影在房室。

塔始建于北宋大中祥符二年（西元1009年），在明朝正统十一年（西元1446年）重修过。三影塔与六榕花塔均采用了“穿壁折上式”，是一种相当先进的建筑结构。

“三影塔”是比“六榕花塔”早百年建造北宋早期砖塔。

三影塔为楼阁式砖塔结构，塔形平面为六角形，共9层，加上仿宋代贯珠形的铸铁塔刹顶，总高50、2米，构建特殊。塔内设有木阶梯，塔身每层均伸出飞檐和栏杆，飞檐的梁头上都悬挂着一只铜钟，全塔共有48只铜钟。每上一层均须钻出塔门，绕塔身外壁的回廊一段，才能进入另一塔门，可逐层再向上攀登。

塔檐上每条檐脊的端部，各蹲伏着一只酱红色的陶制貔貅。传说中，貔貅是一种形似虎、毛色灰白的猛兽。古时候常用它来作为军队的称呼。关于三影塔的陶貔貅，民间流传着这样一个故事：南朝时，梁武帝萧衍的长子萧统，隐居在始兴的傅大士那里读书。有一年，始兴、南雄一带流行瘟疫，死人甚多，治好这种病，得用貔貅角磨水喝才行。萧统为了治病救民，奋起追瘟，从始兴追捕一只貔貅追到南雄的瑞应山，直追到“三影塔”下才把貔貅抓住，斩去它的角，磨水给民众治病。百姓得到了救治，这样很快就扑灭了这场瘟疫。萧统因劳累过度不幸病故，人们为了纪念
这位心地仁慈的太子，便在瑞应山前建了延祥寺来祭祀他。到了宋代建塔的时候，又将陶制貔貅放在檐角，也为了寄以祛灾托福的心愿。

“三影塔”饱经风雨雷击，数度火灾，塔顶早已倾倒，塔身也残破不堪。
自1982年，经过一年多的重修，目前“三影塔”仍旧保留了宋塔特点，古风犹存。