灵云院属于东福寺的塔头，大休禅师曾在这里，向大休禅师请教禅师的人很多，后来奈良天皇也是其中之一。 后来这里就作为后奈良天皇的接见场所被造就，而后被指定为重要文化财产。 书院南部的蓬莱枯山水被指定为史迹名胜。