王世襄不明白政府當(dāng)初為什么會(huì)答應(yīng)如此苛刻的條款。但在當(dāng)時(shí)的大背景下，中國雖然取得了抗日戰(zhàn)爭的勝利，但在美帝國主義強(qiáng)權(quán)的主導(dǎo)下，并沒有能夠享受到勝利的果實(shí)。當(dāng)政府在忙于博弈政治資本時(shí)，又有誰會(huì)把文物追討放在心上呢？

沒有話語權(quán)，王世襄只能一方面通知國內(nèi)，寄來更加詳細(xì)的材料，另一方面則硬著頭皮拿手頭所有的材料去向日本政府提請清收。而這樣的要求則在日本政府以資料不全為由之下，顯得那樣蒼白無力。

幾次三番的碰壁，讓王世襄心灰意冷，他不由地想起自己在故宮的工作和臨行前與馬衡的對話來。出國前，故宮博物院的基礎(chǔ)整理工作才剛剛開始，他本以為來到日本，能夠做一些更加有實(shí)效性的事情，但從事情的進(jìn)展來看，他發(fā)現(xiàn)自己在這里，只不過是一個(gè)點(diǎn)綴。并沒有人真正關(guān)心流失的文物，而在可預(yù)見的未來，也不可能出現(xiàn)什么轉(zhuǎn)機(jī)。

王世襄起了回國的念頭。于是他寫信給馬衡和杭立武，詳細(xì)敘述了在日本的情況，表達(dá)了自己想回故宮博物院工作的心思。

接下來就是等待，王世襄不通日語，每日下了班并無處可去，而工作又進(jìn)展得不順利，這讓他在日本感覺度日如年。在數(shù)著日子挨過幾天后，王世襄收到了郭志嵩的回信，說杭立武認(rèn)為派一個(gè)人去日本并不容易，“既來之，則安之，工作一時(shí)不順手，可徐圖之。除非有特殊任務(wù)，不要急于回國。幾時(shí)回來，須得到代表團(tuán)的許可。”

對于這封回信，王世襄異常失望，他真正體會(huì)到什么叫做報(bào)國無門。原本寄希望于清損會(huì)，但現(xiàn)在他知道，想回國就只能通過代表團(tuán)批準(zhǔn)。經(jīng)過不少周折，王世襄終于將在上野公園的善本運(yùn)送回國。

1947 年3 月初，王世襄回到北平，重返故宮博物院古物館任科長。當(dāng)時(shí)的故宮博物院，雖然已經(jīng)建院二十余年時(shí)間，但由于中間經(jīng)歷了抗日戰(zhàn)爭，使得博物院百廢待興。除了已陳列開放或辦公使用的地方外，不少宮殿房屋長期封鎖，依然處在當(dāng)年清室善后委員會(huì)點(diǎn)查時(shí)的狀態(tài)。文物與非文物界限不清，歸類不明，在儲(chǔ)存保管上混亂不堪。根據(jù)博物院的現(xiàn)實(shí)狀況，王世襄與馬衡進(jìn)行了詳細(xì)的溝通，歸納出了保管工作的要點(diǎn)--“弄清家底，加強(qiáng)保管”。

就這樣，王世襄開始了在故宮博物院的基本建設(shè)工作。他首先將文物都集中到古物館，開辟庫房，修繕房屋，添置儲(chǔ)藏設(shè)備，進(jìn)行集中保管，然后將文物進(jìn)行分類編目整理。在這期間，王世襄一邊為故宮文物保管工作打基礎(chǔ)，一邊繼續(xù)進(jìn)行文物的追討工作。這段時(shí)間，王世襄既要進(jìn)行古物整理，又要負(fù)責(zé)房屋修繕以及文物修復(fù)，頭緒紛雜，十分繁忙。那最初進(jìn)故宮博物院來完善自己《中國畫論研究》一書的想法，也早已擱置，他甚至沒有時(shí)間寫任何關(guān)的學(xué)術(shù)文章。就這樣，時(shí)間在繁瑣的小事中又過了半年。

1947 年的夏天，美國洛克菲勒基金會(huì)派兩個(gè)人到北京進(jìn)行所謂的文化訪問，參觀各類學(xué)校、圖書館、博物館，聲稱可以進(jìn)行項(xiàng)目資助。故宮博物院此時(shí)正是百廢待興之時(shí)，能有資金支持，當(dāng)然是求之不得的好事，于是馬衡親自接待了該基金會(huì)的一行人，并向他們提出了資助印刷設(shè)備的請求。

秋冬之際，洛氏基金會(huì)回復(fù)了故宮博物院的請求，他們并沒有像當(dāng)初承諾的那樣提供資金資助，而理由是當(dāng)時(shí)中國正在進(jìn)行的內(nèi)戰(zhàn)?；蛟S是為了禮尚往來，他們提出可以給故宮博物院一個(gè)到美國參觀學(xué)習(xí)的名額。雖然有些失望，但馬衡等人還是覺得這個(gè)學(xué)習(xí)名額聊勝于無，借此機(jī)會(huì)，也能夠見識(shí)國外先進(jìn)的博物館，為故宮今后的發(fā)展儲(chǔ)備人才。經(jīng)過討論，最終決定派王世襄去學(xué)習(xí)。