别传禅寺原是南明遗民们避难的地方，与乳源云门寺，曲江南华寺成三足鼎立之势，乾隆四十年（一七七五年）澹归禅师的遗着被朝廷列为禁书祸及别传禅寺，寺被改为十方常住，澹归禅师弟子全都逐出别传寺，寺庙逐渐废毁。

　　明末清初，明朝遗臣，原江西赣州巡抚李永茂和兄弟李充茂及同僚族人，为避世乱，花了一百多两银子买得了丹霞山作隐居之地。接着便凿石为阶，架桥铺路，建筑房舍，并将各处岩洞也垒石隔成房间以供居住。接着又开发大明岩、海螺岩、晚秀岩、草悬岩和龙王阁，还在各处建桥修泉，从此，北至舵石，南至海螺峰，下至山脚，上至山顶，处处响遍开发者的脚步声。经过艰苦的努力，丹霞山面貌焕然一新，佛光人气盛况空前。一干战乱中风雨飘零的亲朋戚友，明亡以后的遗老遗少，李永茂都请来丹霞山居住，最多时超过一千人。使这个昔日偏僻的山沟逐渐兴盛起来，后来竟成了明朝遗老避乱的世外桃源。丹霞山虽然从唐代开始有佛教居士来游，北宋法云居士来山建庵，但投资很少，开发仅限于锦石岩，世上知道丹霞山的人不多。李氏兄弟见山多巨石而带红色，与（河南）南阳故乡的丹霞山相似，遂名之为「丹霞山」，此后，世人遂以此名名之。自从李永茂、李充茂到丹霞山后，丹霞山开始逐渐为世人所知，因此后人皆称李永茂为丹霞山祖。

　　1982年，别传寺本焕禅师主持重建．现寺内主要建筑有天王殿、大雄宝殿、伽蓝殿、钟楼、鼓楼、菩提精舍等，并得建了“别传寺开山澹归老和尚塔”。

　　现别传寺有僧人八十余人，香火极盛。