如此直言，豈能容忍？于是在周揚(yáng)親自干預(yù)下，彥涵被戴上“右派”分子帽子。事后，所在黨支部開會(huì)，按當(dāng)時(shí)規(guī)定，凡劃了“右派”的一律開除黨籍，但在表決通過(guò)時(shí)，彥涵不舉手，并稱：“我不舉手就是不同意對(duì)我的處分決定，我有這個(gè)權(quán)利，盡管這是我最后的權(quán)利！”然后欠了欠身離去。此后，他還干了許多那個(gè)年代幾乎無(wú)人敢為的事，譬如叫他在“關(guān)于‘右派’分子彥涵的政治結(jié)論”上簽字，他不簽；叫他和艾青、丁玲等一起到北大荒改造，他不去：“我有胃潰瘍，要我到北大荒，等于要我死！”把他一個(gè)人下放懷來(lái)縣農(nóng)村，他還是拒絕：“我小兒子還只有10歲，老婆有病，要去一家人一起去，我不能眼睜睜妻離子散！”要他改個(gè)名字下放，他不答應(yīng)：“名字是我自己的，別人有什么權(quán)力讓我改？”而當(dāng)美協(xié)領(lǐng)導(dǎo)勸他：“下去好好改造，改造好了還可以回來(lái)”時(shí)，他竟然回答：“我當(dāng)然要回來(lái)了！”

如此應(yīng)對(duì)，在當(dāng)時(shí)的政治氣候下需要多大勇氣，后人已很難體會(huì)，絕大多數(shù)當(dāng)事者，不管內(nèi)心是否想得通，都不得不屈從。

如果當(dāng)年有更多人能像彥涵這樣，堅(jiān)持說(shuō)出自己的想法，不管要承受什么后果，也許整個(gè)局面就會(huì)有一點(diǎn)變化。這也正是他可貴之處。

下放到懷來(lái)后，彥涵倒是受到了當(dāng)?shù)仡I(lǐng)導(dǎo)私下的照顧，被安排到《懷來(lái)報(bào)》搞插圖。在此期間，仍有一批反映農(nóng)村生活的版畫陸續(xù)問(wèn)世。

世事難料，彥涵態(tài)度如此強(qiáng)硬，卻是第一批脫帽的，并在隨后不久獲準(zhǔn)調(diào)入由周揚(yáng)夫人蘇靈揚(yáng)任院長(zhǎng)的北京藝術(shù)師范學(xué)院美術(shù)系任教，蘇友善地向他提出是不是寫個(gè)報(bào)告“把過(guò)去的錯(cuò)誤認(rèn)識(shí)一下重新入黨”（不知道其中有沒(méi)有周揚(yáng)的意思），但涵彥執(zhí)拗地堅(jiān)持：“我從來(lái)就沒(méi)有同意過(guò)開除我的黨籍，現(xiàn)在也不同意，所以重新入黨我不入，我要求恢復(fù)黨籍?！?/p>

此事也只好無(wú)果而終。

“文化大革命”開始，彥再次被揪出來(lái)，其罪行是為《劉志丹》插圖，毛澤東曾借康生的話稱這本書“利用小說(shuō)進(jìn)行反黨，是一大發(fā)明”，他無(wú)意間又撞到槍口上，進(jìn)了牛棚，一待便將近兩年。

而就在工宣隊(duì)宣布可以每周回家一次時(shí)，他發(fā)現(xiàn)夫人白炎失蹤了。這位也是從延安走過(guò)來(lái)的老革命，在外文出版社工作，翻譯出版《收租院》時(shí)，把書中受劉文彩剝削的100多戶農(nóng)民誤寫成10戶，少了一個(gè)0，本來(lái)檢查之后就可以了結(jié)，但清理階級(jí)隊(duì)伍運(yùn)動(dòng)一來(lái)，她被揭出是大地主的女兒，丈夫又屬于“右派”，誰(shuí)能保證不是居心叵測(cè)？于是被當(dāng)成典型，幾經(jīng)折磨后投入牢房。

1979年，彥涵的冤案總算得到平反，此后他放下刻刀，拿起油畫筆，給黑白世界加上了絢麗的色彩，繪畫語(yǔ)言也發(fā)生了很大變化。

生活的磨難使他的藝術(shù)得以脫胎換骨，有人稱彥涵完成了“從寫實(shí)的現(xiàn)實(shí)主義到抽象的現(xiàn)實(shí)主義過(guò)渡”，這與羅工柳晚期的變化幾乎一樣，其中早年藝專的教學(xué)發(fā)揮了多少影響，生活本身又起了什么樣的作用，是個(gè)值得研究的問(wèn)題。