宋代蒋之奇建亭于岩上，明徐霞客游此后写道：“其岩后通前豁，上覆重崖，下临绝壑，中可憩可依，云帆远近，纵送其前·.....。崖北有石磴，直下缘江，亟从之登。西倚危崖，东逼澄江，尽处忽有洞岈然，高二丈，阔亦如之，亦东面临江，溪流自中喷玉而出，盖水洞也·....."。明万历年间，永州知府丁 儒，将朝阳岩亭榭修葺一新。他认为“凡零陵对江西岩一里之内，下皆崆峒，山泽通气，匪虚而何？便将朝阳岩西山命名为零虚山。