抗戰(zhàn)開始，他率校西遷，卻在1938年冬，不得不離開藝專。此中原委，據(jù)說與當時進了教育部的張道藩有關。張在國立藝術院草創(chuàng)時就投奔而來，有一種講法稱看上了才貌兼?zhèn)涞牟掏?，但蔡對張并沒有興趣，當時林風眠也只給了他一個講師席位，未聘以教授，這兩點都讓張心存芥蒂。1933年，張任浙江省教育廳廳長時，藝專學生去請愿，還動手打過他，更加深了他與兩位林先生的隔閡，到了教育部后，即下手讓兩校合并后的國立藝專辭退了林文錚，繼而又逼走林風眠。

離校后的林家老小隨難民來到昆明，其間歷盡艱辛。經(jīng)過半年奔波，才在西南聯(lián)大找到工作，林文錚教西洋文學史，蔡威廉教法文，租住在城內(nèi)破舊的民房里。

梁實秋曾在一篇名為《記蔡威廉女士》的文章中描述過當時林家的境況：

到昆明來后，我們湊巧又成為鄰居，同住昆明北門街。問及時，方知兩夫婦都離開了藝專，失了業(yè)。其中經(jīng)過情形并不明白，但總覺得古怪。文錚或和朋友意見不合，放下學校事不干。蔡女士為人那么忠厚老實，對人幾乎可說從沒說過一句鬧別扭的話，對職務又那么熱心認真，若非二三子有意作弄，她決不會從這個學校離開。當時學校負責人，若稍微肯為這個學校著想，肯為藝術教育著想，蔡威廉女士本人即或要辭職，也一定會加以挽留，不許她離開?？墒撬谷浑x開了學校。且據(jù)朋友們傳說，生活情形在沅陵時即已經(jīng)很窘迫。

但與兩夫婦談及學校時，她竟一句話不說。總好像貧窮是并不怎么可怕的，學校風潮鬧下去，倒有點可惜。人家不要她教書，她還是可以自己作畫。為證明這點理想并不因離開學校而受挫折，墻壁上就貼滿了她為孩子們作的小幅精美速寫。

可是事實上隨之而來的生活自然也就有點麻煩了。房子那么小，大雜院那么亂，想安靜作畫是不可能的。初雇來的本地傭人照例不合適，做不上三天又走了，做主婦的就得為一家大小八口做飯。五個孩子雖然都很乖，大的是個女孩，家務事還能幫點小忙，提提水，爐子里加加松毛，拌和稀飯，最忙的自然還是主婦。并且腹中孩子已顯然日益長大，到四五月間即將生產(chǎn)。我進出住處需從他們廚房樓下經(jīng)過，孩子們一見我必大聲招呼，我必同樣向這些小朋友一一答話。常?？吹竭@個做母親的，穿了件寬博印花布袍子，背身向外，在那小鍋小桌邊忙來忙去。聽我和孩子招呼時，就轉(zhuǎn)身對我笑笑，我心中總覺得很痛苦。生活壓在這個人身上，實在太重了，微笑就是一種無可奈何的表示。想用微笑挪開朋友和自己那點痛苦，卻辦不到。

我每天早晚進出，依然同小朋友招呼。間或稱呼他家第三位黑而胖的小姐作“大塊頭”，問她爸爸媽媽好，出不出門玩。小孩子依然笑嘻嘻答應“很好”?？墒乔皟商炻牸依锶苏f，才知道孩子的母親，在家生產(chǎn)了一個小毛毛，已死去3天了。

死的直接原因是產(chǎn)褥熱，間接原因卻是無書教、無收入，怕費用多擔負不起，不能住醫(yī)院生產(chǎn)，終于死去。人死了，剩下一堆畫，6個孩子。”