長白山古時稱為不鹹山、“太白山”，清朝時滿族人稱之為白山（GolminSanggiyanAlin）或“白頭山”，近代朝鮮半島人和日語中的漢字也都以“白頭山”稱之。長白山也以“白山”（指長白山）與黑龍江的“黑水”（指黑龍江）並稱，是中國東北的代名詞。
最早記錄我國東北長白山的史籍是戰國和西漢初成書的地理書《山海經·大荒北經》。書中稱：“東北海之外，……大荒之中有山名曰不鹹，有肅慎氏之國。”肅慎是東北的古老民族，活動在今延邊和綏芬河一帶。《後漢書·東夷傳》和《晋書·四夷傳》皆有“肅慎氏一名挹婁，在不鹹山北”的記載。
晋代以前長白山一直名稱不鹹山。後魏又稱“徒太山”、“太皇山”。《魏書·勿吉傳》載：“勿吉國南有從太山者，華言太皇，俗甚敬畏之。”到了唐代，又改稱為“太白山”，《新唐書》載：粟末部“居最南，抵太白山，亦曰徒太山。”
長白山之名始於金代，而且一直沿用至今。《金史·世紀》載：“生女真地有混同江、長白山，混同江亦號黑龍江，所謂白山、黑水是也。”金代統治者認為“長白山在興王之地，禮合尊崇議封爵，建廟宇”。囙此，在大定十二年（西元1172年）十二月，封長白山為“興國靈應王，即其山北地建廟宇”。大定十五年三月，奏定封册儀物，每逢春秋二季，擇日致祭。明昌四年（西元1193年）十月，複册為開天弘聖帝。
到了清代，滿族統治天下，長白山在滿語裏叫“果勒敏（長）珊延（白）阿林（山）”。清朝以長白山為發祥地，康熙十六年（西元1677年），特命大臣覺羅武木納前往長白山拜謁，回京奏疏，議封長白山神，每年遣使致祭。康熙二十一年（西元1682年），康熙皇帝東巡到吉林時，在松花江畔舉行了隆重的望祭長白山活動。清朝幾百年間，將長白山列為封禁之地。