遠在中國的歷史上很早就有金香玉的傳說，它是權貴、價值的象徵和體現，在民間流傳著人們熟習的“有眼不識金香玉”、“有錢難買金香玉”之說。據報導，曾在一漢墓葬中發現，被認為是“金香玉”的玉石，歷經千年而芳香猶存；相傳秦國公主出訪曾佩戴“金香玉”一塊；日本天皇也曾擁有“金香玉”；清朝地方官員也有將“金香玉”進貢的記載，由於歷代皇族的秘而不宣，故世人就很難識得“金香玉”的“廬山真面目”了。
在金庸的文學著作，也將“金香玉”引入了《射雕英雄傳》中，.有這樣一段描述：.“乾隆的詩還少兩句呢，這叫‘有眼不識金香玉，錯把尿壺當茶壺’。”蒲松齡生氣地吼道“你怨我啊…”。據報導，第三十届國際地質大會在北京召開時，大會組委會接受了一比特收藏者的“金香玉”標本，當時傳為佳話，據說這塊“金香玉”後藏於中國地質博物館。又據報導，在大觀園開幕的“中興杯”第二届全國奇石瓷藝文化大展上，有一塊“金香玉”的玉石展出，據說價值連城轟動一時。
米倉山民間傳說，一藥農進入米倉山的叢山峻嶺中採摘中草藥時，忽然一陣清風吹來一片香氣，藥農向前追索，發現一壁淺灰綠色蠟狀石頭，香氣竟是從石頭中散發出來，莫非這些石頭就是古人說的“金香玉”，後來不斷傳開，米倉山產“金香玉”，在山區每當天氣晴朗、乾燥時，芳香濃郁，下雨空氣濕度大時香氣清淡。
