相传明世宗时，湖南道州女子苟瑞世居观国山麓，生而有红光赤芒之瑞，及长，面相端庄，默然少语，村女见之，不觉肃然起敬。嘉靖年间，登山遇老母，授一草，食之甘甜不饥，终怱不见。苟瑞遂绝火食，居观国山赤霞洞，潜修10年，人无知者，家人窥之，则巨蟒数条守其岩前，樵夫偶经其地，则闻猛虎咆哮，惊走殆死。苟瑞修成正果，拜谒者众，华阳王乃至明世宗皇帝遣重臣迎之，坚辞不行，诗答朝使：“辟谷修行数十年，蒲团坐破自悠然。采芒和叶连根煮，枕石栖霞带影窜。两幅布袍身上挂，一轮明月枝头悬。贤侯若问真消息，太极图中一个圈。”苟瑞栖赤霞50年，作《飞升诗》飞仙而去：我去之日，我来之年。举手相谢，白鹤翩翩。

亦传《飞升诗》为：我来之日，白雪飞飞，我去之日，白鹤翩翩。

清代末期，道人张明乙，在山顶修荀瑞仙石棺墓葬。现石棺尚存。石棺现存在山顶一拱形石室内，石室进深为280厘米，宽185厘米，拱高216厘米，其棺床宽80厘米，长212厘米，材质均为红砂岩。在寺的后山有两个紧连的石凿山洞，名为赤霞洞、莲花洞，为荀瑞仙居住、修炼处。