明代崇祯四年（1631年）由高晋卿等三个太监出资在东磊围屏山前兴建延福观。从此东磊便成为云台山一带道教的主要基地，三四百年间香火旺盛，甚至连围屏山也赋予了一个道教的名称――钟鼎，山上所有的景点都染有浓重的道教色彩。

　　就连周围景观也与道教的宗教色彩有关。玉女为道教中的女神，善于弹琴和做游戏，很像西方神话中的艺术女神。云台山就有许多关于玉女的景点，如花果山的玉女峰，宿城的玉女窗等。

　　延福观东院原为玉兰山房，把古玉兰树围于院中。陶澍巡视云台山时，对这里也进行过大修，并题楹联一副于玉兰山房：奇石似人花下立，仙人如鹤竹间来”。庙后有温泉一池，隆冬不冰。周围石壁上刻着许多前人的题勒，如钱泳的“登山观海”，无名氏的“小蓬莱”、“天上人间”，也都各具风韵，令人赏心悦目。