王陽(yáng)明的品德感化了龍場(chǎng)的百姓，他們逐漸和王陽(yáng)明親近起來(lái)。王陽(yáng)明也積極學(xué)習(xí)當(dāng)?shù)卣Z(yǔ)言，努力和他們交流。當(dāng)時(shí)王陽(yáng)明住在石窟中，潮氣較重，對(duì)健康不利。當(dāng)?shù)匕傩站吞嶙h給他建間小木屋，王陽(yáng)明自然非常高興。在大家伙兒的幫助下，小木屋不到一個(gè)月就竣工了。

為此，王陽(yáng)明特意作了兩首詩(shī)，題為《龍岡新構(gòu)》（《王文成公全書(shū)》卷十九），據(jù)此可以想見(jiàn)小木屋的一些基本情況。

謫居聊假息，荒穢亦須治。

鑿薙林條，小構(gòu)自成趣。

開(kāi)窗入遠(yuǎn)峰，架扉出深樹(shù)。

墟寨俯逶迤，竹木互蒙翳。

畦蔬稍溉鋤，花藥頗雜蒔。

宴適豈專予，來(lái)者得同憩。

輪奐非致美，毋令易傾敝。

營(yíng)茅乘田隙，洽旬始茍完。

初心待風(fēng)雨，落成還美觀。

鋤荒既開(kāi)徑，拓樊亦理園。

低檐避松偃，疏土行竹根。

勿剪墻下棘，束列因可藩。

莫擷林間蘿，蒙籠覆云軒。

素缺農(nóng)圃學(xué)，因茲得深論。

毋為輕鄙事，吾道固斯存。

據(jù)此可以得知，依靠眾人鑿巖取石、斬枝取木，才最終建成。小木屋的造型和周圍的景致也非常協(xié)調(diào)。

此外，屋子周圍還遍植花草。打開(kāi)窗子，遠(yuǎn)處的群峰一覽無(wú)余；俯瞰下去，山麓中的山寨錯(cuò)落有致。盡管木屋沒(méi)有高樓大廈那么美觀，甚至顯得有些寒酸，但來(lái)客可以在里面輕松自在地休息。屋子是眾人在農(nóng)活間隙幫助建造的，所以蓋了十天才露出雛形。為了避開(kāi)一棵臥松，故而建得比較矮。在疏松的土里埋下幾根竹子，同時(shí)保留墻下的荊棘，并把它們修剪成列，做成籬笆。藤蔓爬到屋子上，自由自在地生長(zhǎng)。另外開(kāi)辟了一條小路，做了一個(gè)小農(nóng)圃。

王陽(yáng)明在《龍岡新構(gòu)》的序中提到當(dāng)時(shí)有弟子建議將小木屋取名為“龍岡書(shū)院”，但他覺(jué)得不妥，于是命名為“何陋軒”，并且還作了一首《何陋軒記》（《王文成公全書(shū)》卷二十三），敘述了定此名的緣由。

昔孔子欲居九夷，人以為陋?？鬃釉唬骸熬泳又温?？”

守仁以罪謫龍場(chǎng)。龍場(chǎng)，古夷蔡之外，于今為要綏，而習(xí)類尚因其故。人皆以予自上國(guó)往，將陋其地，弗能居也。而予處之旬月，安而樂(lè)之，求其所謂甚陋者而莫得。獨(dú)其結(jié)題鳥(niǎo)言，山棲羝服，無(wú)軒裳宮室之觀、文儀揖讓之縟，然此猶淳麗質(zhì)素之遺焉。蓋古之時(shí)，法制未備，則有然矣，不得以為陋也。夫愛(ài)憎面背，亂白黝丹，浚奸窮黠，外良而中螫，諸夏蓋不免焉。若是而彬郁其容，宋甫魯掖，折旋矩矱，將無(wú)為陋乎？夷之人乃不能此。其好言惡詈，直情率遂，則有矣。世徒以其言辭物采之眇而陋之，吾不謂然也。

始予至，無(wú)室以止，居于叢棘之間，則郁也。遷于東峰，就石穴而居之，又陰以濕。龍場(chǎng)之民老稚，日來(lái)視，予喜不予陋，益予比。予嘗圃于叢棘之右，民謂予之樂(lè)之也，相與伐木閣之材，就其地為軒以居予。予因而翳之以檜竹，蒔之以卉藥，列堂階，辦室?jiàn)W，琴編圖史，講誦游適之道略俱。學(xué)士之來(lái)游者，亦稍稍而集于是。人之及吾軒者，若觀于通都焉，而予亦忘予之居夷也。因名之曰 “何陋”，以信孔子之言。

嗟夫！諸夏之盛，其典章禮樂(lè)，歷圣修而傳之，夷不能有也，則謂之陋固宜。于后蔑道德而專法令，搜抉鉤縶之術(shù)窮，而狡匿譎詐，無(wú)所不至，渾樸盡矣！夷之民方若未琢之璞，未繩之木，雖粗糲頑梗，而椎斧尚有施也，安可以陋之？斯孔子所謂欲居也歟？雖然，典章文物，則亦胡可以無(wú)講！今夷之俗，崇巫而事鬼，瀆禮而任情，不中不節(jié)，卒未免于陋之名，則亦不講于是耳。然此無(wú)損于其質(zhì)也。誠(chéng)有君子而居焉，其化之也蓋易。而予非其人也，記之以俟來(lái)者。