唐朝咸通初年，僧人古心来到独秀屏下，为其秀美旖旎的风光吸引，遂在此结茅修行，同时化缘建寺。最终，古心在咸通八年建成一座气势宏大的寺院。

寺院建成后，古心开坛讲经说法。据说他七日七夜毫不间断，而且不睡觉不吃东西。讲法期间，“水流为止，鱼龙跃岸，豹虎俯伏，顽石点化”。世人都认为很神奇。古心和尚还有两件宝贝：袈裟和茅杵。他的袈裟可以盖住千亩山林不受破坏，确保百里净土；而茅杵能縛住苍龙，使当地风调雨顺。因为这个缘故，所以寺院最初的名字是“安文寺”。

宋朝嘉祐年间，安文寺被扩建。治平二年（1065年）改名为“安福禅院”。南宋建都杭州后，安福寺的鼎盛时期也随之而至。当时有两件十分轰动的事情，一是高宗皇帝赐住持觉源和尚紫袈裟，二是葛禅师在此举行了涅槃茶毗典礼。根据《康熙东阳县志》记载，葛禅师又名安福僧，他在涅磐前的一个多月不吃任何东西，并告诉弟子，自己即将西归，要他们准备柴火以备焚化。到了涅槃那一天，葛禅师端坐柴火之上，口念“阿弥陀佛”，一手振铃锣，一手指西方。当柴火燃起时，葛禅师让众人伸出手来，并说：“吾有坚固子从空而下。”果然，众人都得到了五彩的舍利。焚化之后，“祥云四布，异香氤氲，铃锣之声竟日，犹隐隐在空中”。围观之人无不敬服，由此信众日增。而此神异之事至今仍流传不衰。

1120年，安福寺毁于战火。1127年，盱眙郡守陈宗誉等人重新修建。不过，元朝至元年间再次为兵火所焚。至正初年，名士陈崇等人筹资重建，规模超过以往。当时正殿有前后四寝，左右两庑重厢共百间。寺内环境幽静，让人有超凡脱俗之感。

明朝时，安福寺得以被重新修葺。清初，寺内部分建筑毁于战乱。康熙年间，住持智晟以平素寺产所积及四方募化所得之资重修殿堂。乾隆年间，雪山和尚卓锡于此，重建法堂和文星楼，并修葺东西两廊等建筑。但到了1861年，寺内数百间殿堂楼阁再次毁于兵乱，仅余下关帝朝、伽蓝殿和祖师堂三处。1891年，陈公常出资重建寺院。其中文星楼的建筑艺术为一绝，“雕栏曲折，圆而有棱，自下而望，光明洞达，一目了然。”另有四大金刚坐像“高五丈有奇，仰望无不脱帽”，号为“倾国泥塑之伟”。民国时期，安福寺走向衰败，寺内僧人几不存在。直到1993年，才又重建。

目前，安福寺内留存的珍贵古迹有“一口直径1.2米，高3.7米，重3.5吨的宝鼎；三尊楠木和樟木大佛像以及一株历经千年的古樟树。

安福寺四周还有独秀峰、碧岩洞府、金异坪、半月山、九峰山等风景秀丽的所在。