南岳祭祀先贤主要由祭祀开云亭、李邺侯祠、二贤祠、双忠亭、延寿亭组成。据史书记载，邺侯李泌于唐肃宗时赐隐于南岳烟霞峰下，筑居室曰“端居室”，藏书极丰。后其子李繁任随州刺史，乃于南岳庙左建书院一座，称南岳书院，既以奉祀其父，又以藏书，亦供后人浏览、讲学。四百年后宋宝庆年间（1225-1227），转运使张嗣可有感于该书院紧靠市肆，难避喧闹，便迁建于集贤峰下，并改称邺侯书院。明嘉靖十三年（1543），太常寺少卿夏良胜谪守茶陵，同翰林院编修张治游南岳，过集贤峰下，见书院圮废，因而与衡山知县彭簪商议，就遗址修复，并集唐宋名贤人祀其中，故此更名集贤书院。当时入祀的先贤有李泌、韩愈（昌黎）、赵忭（清献）和周濂溪等四位。数十年后，该书院又圮废，祭祀也随之中断。明万历（1573-1620）中，礼部朗中耒阳人曾风仪介首捐资，重新修复，且置了田租，以李泌、韩愈、朱熹、张轼、赵忭、周濂溪诸贤合祀书院。其实朱、张早已祠方广寺，只因为当时地方官员感到道远难达，湖广巡按使，又在邺侯故居室右侧建书院一栋，额曰“明道山房”。于是朱、张便仍祀方广，邺侯专祀明道山房，而集贤合祀之典如故。至清初，明道山房又久圮，而掷钵峰下之福严寺亦中废，邑人乃就寺侧筑明道山房以祀邺侯，并割寺田归祠，令僧人看守。未几，僧式庵于乾隆初年重兴福严寺。但福严寺虽兴复，而明道山房却又圮废矣！光绪十六年（1890）夏，邑人陈治与集贤书山长戴心蔡访得端居室故址欲重建，旋以地僻山深，逐移建于古寿佛寺侧数百步，即今院址，仍称邺侯书院，已无书院其他职能，故后人为其作联曰：“三万轴书卷无存，人室追思名宰相；九千太云山不改，凭栏细认古烟霞。”
对李邺侯祠的祭祀是在每岁春秋择日，由书院山长致祭。前后行三跪六叩之礼。祭祀时的陈设较简单，帛一、羊一、豕一、酒醴粢盛咸备。对二贤祠的祭祀也是于每岁春秋择日，由邑绅诣祠致祭、陈设、仪规与邺侯祠同。1933年，著名哲学家冯友兰随西南联大迁南岳时访二贤祠，作“二贤祠里拜朱张，一会千秋嘉会堂。公所可游南岳耳，江山半壁太凄凉”，颇富新意。对开云亭、双忠亭、烈光亭、延寿亭祭拜礼仪亦然。
