南朝时，今南京道林寺高僧宝志，看中了谷口凤形山。江南云游方士白鹤道人，也看中了此处。两人向梁武帝具奏，都想在此建观造刹。武帝命二人各显神通以物识地，得者而居。宝志与白鹤道士斗法术，卓锡于此。宝志得了这块宝地。他先居洞习静，后何氏三兄弟献私宅，于公元505年建“菩提庵”。武帝于公元536年赐名“山谷寺”。 

    建寺不久，遇北周灭佛，在洛阳的二祖慧可叫三祖僧璨南徙避难，僧璨便栖隐于天柱山与岳西县司空山之间。后来，隋文帝兴佛，僧璨便于公元589年正式驻锡山谷寺，开三祖道场。公元601年，三祖僧璨去今江西吉安传衣钵与禅宗四祖道信。公元606年，三祖僧璨于山谷寺前法会大树下为信众说法时，合掌立化，葬于寺后。 

    唐天宝12年（公元745年），舒州（今潜山）别驾李常取三祖遗骨火化，得五色舍利三百颗，一百颗自己送老家供奉，一百颗进献朝廷，将另外一百颗塑僧璨像，并拿出自己的俸禄，造三祖舍利塔。 

    唐乾元元年（公元758年），肃宗诏赐山谷寺为“三祖山谷乾元禅寺”。从此，山谷寺就被人们称作三祖寺。公元772年，代宗赐三祖舍利塔为“觉寂塔”，谥僧璨为“鉴智禅师”。 

    后来，由于朝廷的喜好，以及战乱等原因，三祖寺被多次破坏，同时也进行过多次重建和修缮。建国后，1979年，国家有关部门和各级政府，先后拨款修葺了寺院、觉寂塔等，1983年，国务院批准三祖寺为全国汉族地区重点开放寺庙之一。 

    现在的三祖寺坐落于天柱山脚下的凤凰山上,寺庙依山就势，风景优美,佛教文化浓厚, 进入寺内，两旁翠竹排空，古松蔽日，从大雄宝殿出来，沿石阶而上，路左边立明朝安庆知府胡缵宗“山谷”石碑，路右边竖清朝安庆知府张楷“香岩”碑刻，信心亭、立化塔、三高亭矗立眼前。檀烟雾饶中走完台阶，便见塔院大门，门额上是由已故中国政协副主席、中国佛教协会会长、书法家赵朴初题写的“山谷寺”三个大字。门两边墙头，探出两条巨龙。里面，觉寂塔高入云端。千佛殿、观音殿、祖师殿围绕四周。 

    在青山绿水环抱中的三祖寺，已成为佛教徒从事佛事活动的主要场所。