湖光岩原先叫做“陷湖”，大概源于白牛传说的“天崩地陷”。后来又称为“镜湖”，说的是清澈明净得象一面镜子。再后又称作“净湖”，不仅因为水质纯净，还因为佛家弟子借以宣扬清心寡欲、远离尘嚣的教义。

直到宋建炎三年，宋丞相李纲被贬海南而至雷州，因李纲受湖光岩"楞严寺"当时的长老释琮之邀(两人既是福建同乡，又是京师同窗)到湖光岩一游。

当晚明月悬空，秋高气爽，两人在岩崖上促膝而谈。这时湖面上折射的月光映照在狮子岭的峭壁上，展现出一幅美丽的水光山色风景画。

李纲的心情非常开朗，把被贬的内忧外患全抛脑后，欣然提笔写下"湖光岩"三个大字，沿用至今，已有800年历史。

有关的诗有:

1961年春郭沫若游湖光岩，曾作诗：“楞严存古寺，点缀岩光湖。一亭编炮茂几树洁檀殊。惜无苏轼迹但有李纲书。拂壁寻诗句三韩有硕儒。”

1963年，陈毅所作《满江红·雷州半岛》词里豪情中亦见浪漫：“冬犹暖，秋如夏；凉风动，炎氛化。计经年二万火山爆炸。留得湖光呈碧绿，闻名我亦来言驾。再十年人物与江山，难描画。”

1964年，董必武游览湖光岩后所写的诗句，也形象地概括了这里的胜景：“四山围一湖，湖水明如镜。山边有岩洞岩与湖光映。异境本天成妄报白牛应。昔有避世人逃此求心证。释琮飞锡至寺名楞严命。邀友李丞相玩月题名胜。岩花随时开湖照影亦净。经历变乱多荒芜塞山径。人民翻身后岩湖面目认。工余作休沐领略清幽韵。