香山创建寺院，始于苛秦，盛于姚秦。曾迎龟兹高僧鸠摩罗什翻译梵经于此。宋雍熙年间修中峰崎峰洞，建圣果院、白雀寺。清代光绪年间修建各类楼殿亭阁90余间。