東院原為玉蘭山房，把古玉蘭樹(shù)（即“玉蘭王”）“玉圍于院中。陶澍巡視云臺(tái)山時(shí)，對(duì)這里也進(jìn)行過(guò)大修，并題楹聯(lián)一副于玉蘭山房：奇石似人花下立，仙人如鶴竹間來(lái)”。

廟后有溫泉一池，隆冬不冰。周圍石壁上刻著許多前人的題勒，如錢泳的“登山觀海”，無(wú)名氏的“小蓬萊”、“天上人間”，也都各具風(fēng)韻，令人賞心悅目。

延福觀周邊多南方草木，這里的玉蘭花樹(shù)、銀杏、格木、黃楊、紫薇等，都是數(shù)百年的古物。

小蓬萊：在延福觀大殿身后，穿過(guò)陰涼的金鑲玉竹林，便可以看到石壁上古人鐫刻的“小蓬萊”三個(gè)大字，篆書，字徑30厘米，筆力剛健，鐵線銀鉤。李汝珍《鏡花緣》中，把小蓬萊寫成是步入天庭的必由之路，唐敖和百花仙子唐閨臣都是從這里平地飛仙的。

玉女洗頭盆：山上石隙間泉水淙淙跌落崖下，日久天長(zhǎng)，滴水處形成一個(gè)圓洼，人稱玉女洗頭盆。盆側(cè)石壁上有康熙年間海州司訓(xùn)楊廷鎮(zhèn)的刻詩(shī)一首：“飛漢飄灑云山根，泠韻清音聽(tīng)石門。恍如華山來(lái)玉女，觀看珠落洗頭盆。”玉女為道教中的女神，善于彈琴和做游戲，很像西方神話中的藝術(shù)女神。