日本文學中最純粹的民族形式是古代歌謠，在這個基礎上形成了和歌。和歌由五句、三十一個音節(jié)構成，三十一個音節(jié)大約只相當于十幾個有獨立意義的漢字詞，因此可以說和歌是古代世界各民族詩歌中最為短小的詩體。和歌短小，形式上極為簡單，在敘事、說理方面都不具備優(yōu)勢，只以抒發(fā)剎那間的情緒感受見長，幾乎人人可以輕易隨口吟詠。及至平安時代日本歌人大量接觸漢詩之后，對漢詩中音韻體式的繁難、意蘊的復雜，留下了深刻印象。而空海大師的《文鏡秘府論》所輯錄的中國詩學文獻，所選大部分內容都集中于體式音韻方面，這也極大地刺激和促進了和歌領域形式規(guī)范的設立。在與漢詩的比較中，許多日本人似乎意識到了，沒有難度和深度的藝術很難成為真正的藝術，和歌淺顯，人人能為，需要尋求難度與“深”度感，而難度與深度感的標尺，就是藝術規(guī)范。和歌要成為一種真正的藝術，必須確立種種藝術規(guī)范（日本人稱為“歌式”）。藝術規(guī)范的確立意味著創(chuàng)作難度的加大，而創(chuàng)作難度的加大不外體現在兩個方面：一是外部形式，日本稱之為“詞”；另一個就是內容，日本人稱之為“心”。

于是，從奈良時代后期（8世紀后期）開始，到平安時代初期（9世紀），日本人以中國的漢詩及詩論、詩學為參照，先從外部形式—“詞”開始，為和歌確定形式上的規(guī)范，開始了“歌學”的建構，陸續(xù)出現了藤原濱成的《歌經標式》等多種“歌式”論著作，提出了聲韻、“歌病”、“歌體”等一系列言語使用上的規(guī)矩規(guī)則。到了10世紀，“歌學”的重點則從形式（詞）論，逐漸過渡到了以內容（心）論與形式論并重。這種轉折主要體現在10世紀初編纂《古今和歌集》的“真名序”（漢語序）和“假名序”（日語序）兩篇序言中。兩序所談到的基本上屬于內容及風體（風格）的問題。其中“假名序”在論及和歌生成與內容嬗變的時候，使用了“或事關神異，或興入幽玄”這樣的表述。這是歌論中第一次使用“幽玄”一詞。所謂“興入幽玄”的“興”，指的是“興味”、“感興”、“興趣”，亦即情感內容；所謂“入”，作為一個動詞，是一個向下進入的動作，“入”的指向是“幽玄”，這表明“幽玄”所表示的是一種深度，而不是一種高度。換言之，“幽玄”是一種包裹的、收束的、含蘊的、內聚的狀態(tài)，所以“幽玄”只能“入”。后來，“入幽玄”成為一種固定搭配詞組，或稱“興入幽玄”，或稱“義入幽玄”，更多地則是說“入幽玄之境”，這些都在強調著“幽玄”的沉潛性特征。