在1400多年前，中國的用香文化伴隨著佛教宗教儀式中用香，包括大量香木、僧侶、佛典、香爐等傳到了日本。沉香首次出現在日本是在西元595年――《日本書紀》中記載了沉香飄到了淡路島，這是日本香文化的開端。
一塊飄來的木頭被島上的人當做普通燒火的木頭撿拾，點燃後才發現這塊木頭能散發出沁人心脾的香氣，於是把它慌慌張張的撲滅，並獻給了朝廷。當時在推古天皇身邊的聖德太子回答道“這就是沉香啊”。
距今1200年前，日本的中心從奈良平城京簽到了京都平安京，權力的中心依然在天皇和貴族中，他們將香引入了生活之中，逐漸變成了貴族的香文化。
距今500年前，日本香文化的發展迎來一個轉捩點。開始掌權的武士階層在戰亂中感受著生命無常，不再像高雅的貴族那樣鑒賞由多種香料調製的合香，而是從一整塊香中磨煉內心，“香道”從而產生了。香道誕生於室町時代，最初是講究排場的大名武將窮盡奢華的一種藝道，本質是鑒賞以沉香為主的香木的香氣的藝道，而香木僅在東南亞出產。香道注重禪的精神，在禮儀、舉止方面有諸多的規定和約束，對文學和書道方面的修養也要求較高，但原點還是在於享受（沉香）香木散發的香氣。
香道在日本是一種精神性的藝術，因而在香道中“聞香”也十分講究，聞香時要摒除雜念，將內心寄託在若有似無的香氣之中。日語中“聞”是傾聽的意思，“傾聽”沉香這些稀有的香木，即是感受自然、感恩自然，珍視它們，並對自然懷有敬畏之情。（《黃庭堅與《香十德》？》）