灵谷峰历代常有隐士栖居其间，胜迹颇多，并有隐真观于其间。尤其是南北朝后，许多名人竞相至此，流连忘返、吟诗留墨。其中最著名的有江州刺史王羲之，临川内史谢灵运，抚州刺史颜真卿、戴叔伦, 临川才子晏殊、晏几道、王安石、汤显祖、肖涤非，另外还有干古骚客曾巩、陆游、游东升、白玉蟾等奠定了灵谷峰“文化名山”的定位和大众认知。全山因灵性文化而得名，境内北井水、牛牯石、退心石、洗墨池、文印峰等历史十大古迹都有很深厚的历史渊源和文化内涵，颇具“灵性’ 故名灵谷峰。