“文化大革命”中他被關(guān)進牛棚，批斗之余，有一段時期日常工作就是用那雙本來能夠創(chuàng)造出最精美藝術(shù)品的雙手來敲打防空洞里挖出來的土塊。有次不小心摔跤把腳骨跌斷了，只能就這樣躺著，等妻子得到消息去牛棚要求帶他上醫(yī)院看病，先是不被允許，后來總算允許了，卻無人幫忙將他拖上在三樓的手術(shù)室。

吳大羽住的是私房，那些年先是讓他把樓下騰出來，繼而再讓他把二樓東邊的房間騰出來并與新搬來的鄰居共用一個廁所，那家人后來把挨著吳家的門鎖上，獨占了廁所。

“文化大革命”結(jié)束后私房清退，而吳大羽的房子在10年后仍未得到落實。

諸如此類的遭遇給吳大羽帶來過多少內(nèi)心的傷害？他變得內(nèi)向，甚至子女都跟著他產(chǎn)生避世傾向，終身未婚，廝守著父母。

20世紀70年代，當年的學(xué)生趙無極回國，費盡周折才見到先生，看到他的境況不免難受；聽吳大羽說在研究詩，不作畫了，又感到不解。事實上吳大羽的確把更多時間用在“詩”上，對他而言，這是一個遠離現(xiàn)實的世界，更加廣闊也更加高妙，足以馳騁想象與思維。1982年左右，同事陳創(chuàng)洛趁每月給吳先生送工資時，有意識地與他交談，并把片言只語記錄下來，為我們展示了吳大羽晚年的內(nèi)心生活：

宇宙之大在于我心，宇宙之存也于吾心，宇宙之奧秘至今尚不可知。所以把握自我，即把握宇宙。

時代在變化，藝術(shù)趣味、藝術(shù)美的領(lǐng)域也在變化、擴大，不能說過去的是陳舊的、不好的，但過去總是過去了，總不能說現(xiàn)代比不上從前。至于說發(fā)展到什么地步誰也估計不到，也沒有盡頭?？傊?，一定要變化，這是事物的規(guī)律，這是肯定的。

人生和自然的交接點是詩、是藝術(shù)。詩包括美術(shù)、音樂、舞蹈。詩就是節(jié)奏，它可以概括藝術(shù)的一切。整個人類的歷史是一首未完結(jié)的詩，又是永遠不會完結(jié)的詩。

生與死是現(xiàn)象，生與死的綜合是精神。孔子的儒教是現(xiàn)實主義的，而佛教的思想是理想主義的。佛教是一種信念，它要消滅死，死而復(fù)生，所說的涅槃境界是精神的最高境界。研究東方的美術(shù)，要研究佛教。

文化有兩種：歷史的文化、生物的文化；或稱靜的文化、動的文化。

西方的文化是從形體出發(fā)的，是科學(xué)文化；東方藝術(shù)是從心靈出發(fā)，是從心里著眼。

中國人寫毛筆字稱為“書法”，而日本人接過去，發(fā)展了它，稱之為“書道”。我覺得“書道”比“書法”的辭意更概括、更有內(nèi)涵。法有技術(shù)或約束性；道有道理、道德，以至總的宇宙的規(guī)律包含在內(nèi)的意思。

中國要有一次真正的“文化大革命”。

“上善若水，水善利萬物而不爭”。老子教人向柔弱的水的品質(zhì)學(xué)習(xí)。水看來是柔弱的，但它可以沖決一切比它堅強的東西。這是老子以柔弱制剛強的思想在生活方面的運用。

在莊子看來，一般人之所以不自由，一方面固然由于環(huán)境條件所限，而根本原因在人——“有己”。所以他說“至人無己，神人無功，圣人無名”。

“文化大革命”中有批林批孔，稱孔子為“孔老二”，怎么可以叫“孔老二”呢？我看叫的人首先在侮辱自己?？鬃幼鳌洞呵铩吩趹?zhàn)國年代，雖有時代的局限，但他是有理想的。他是個平民老百姓，他人格上沒有缺陷。他是打不倒的，他是不死的。

這些難道不更像一個哲人對世界的洞察？有這樣精神背景的畫家，下筆自然與只是熟練掌握技藝者不一樣。

事實上吳大羽還是陸續(xù)創(chuàng)作了一些小幅的油畫，但當時很少有人能理解與欣賞，《美術(shù)》雜志曾刊發(fā)他一幅叫《滂沱》的作品，卻印顛倒了，吳倒是說無關(guān)緊要，因為“從月球上看過來，就無所謂正與倒，康定斯基就從自己一幅倒置的作品中受啟迪而開始抽象繪畫”。

這些作品后來幾乎全被臺灣大未來畫廊拿去，在交出它們時他沒要一分錢，僅僅提了出一本畫冊和開一個畫展的要求。就這樣，自己的心血都歸了他人。

此外還有多達500幅吳大羽的蠟筆畫在“文化大革命”中被以抄家的方式劫走，從未歸還，也不知最終落在哪里。