橄欖石這個名詞，是直接來自法文PERIDOT，舊的法文也是PERIDOT，字的出處並不太清楚，在13世紀的英國，曾用PERIDOTA一字，以後才演變為PERIDOT。古羅馬的哲學家普林尼曾用CHRYSOLITE一詞，這個字是來自希臘文，是“金色”和“寶石”的意思，是用來形容黃水晶，黃玉的，但今天，在歐洲常常用於黃綠色及綠黃色的橄欖石。
像其它許多寶石一樣，橄欖石也有不少有趣的傳說，和帶有傳奇色彩的故事。古時候稱橄欖石為“太陽石的寶石”，這種與太陽相聯系，很可能與當地人們的信仰有關，他們相信橄欖石所具有的力量，象太陽一樣大，可以驅除邪惡，降服妖術。為了展示它作為護身符的力量，橄欖石常常被鑲在金子上，佩戴這種護身符，可以消除夜間的恐怖。但如果被用作驅逐邪惡念頭的護身符，橄欖石需系在驢的鬃毛上，佩戴到左臂上。如果橄欖石被磨成粉末，它可以作為藥，用來治療氣喘病，如果放到舌頭底下，可以減輕因高燒引起的乾渴。橄欖石是8月的生辰石，它與纏絲瑪瑙互為替代石。
