明代崇祯四年（1631年）由高晋卿等三个太监出资在东磊围屏山前兴建延福观。从此东磊便成为云台山一带道教的主要基地，三四百年间香火旺盛，甚至连围屏山也赋予了一个道教的名称――钟鼎，山上所有的景点都染有浓重的道教色彩。
东院原为玉兰山房，把古玉兰树围于院中。陶澍巡视云台山时，对这里也进行过大修，并题楹联一副于玉兰山房：奇石似人花下立，仙人如鹤竹间来”。庙后有温泉一池，隆冬不冰。周围石壁上刻着许多前人的题勒，如钱泳的“登山观海”，无名氏的“小蓬莱”、“天上人间”，也都各具风韵，令人赏心悦目。
延福观周围多南方草木，这里的银杏、格木、黄杨、紫薇等，都是数百年的古物。它倚围屏山而建，山的势列如围屏，屏上杂花生树，芳草如茵。石隙间泉水淙淙跌落崖下，日久天长，滴水处形成一个圆洼，人称玉女洗头盆。盆侧石壁上有康熙年间海州司训杨廷镇的刻诗一首：“飞汉飘洒云山根，泠韵清音听石门。恍如华山来玉女，观看珠落洗头盆。”玉女为道教中的女神，善于弹琴和做游戏，很像西方神话中的艺术女神。云台山有许多关于玉女的景点，如花果山的玉女峰，宿城的玉女窗等，这都与徐淮地区为道教的发源地有关。
