張國(guó)燾在上海期間，廣泛聯(lián)絡(luò)，參加一些政治活動(dòng)。當(dāng)時(shí)，直系軍閥吳佩孚標(biāo)榜同情民眾反日運(yùn)動(dòng)，提出召集國(guó)民大會(huì)、和平解決國(guó)事、反對(duì)與日本直接交涉山東問題、國(guó)民籌款贖回膠濟(jì)鐵路等主張。上海民眾團(tuán)體曾召開盛大的國(guó)民大會(huì)，致電吳佩孚表示支持。張國(guó)燾等參加了這次大會(huì)。

張國(guó)燾還與在上海的國(guó)民黨上層人士進(jìn)行了廣泛的接觸。他同胡漢民、汪精衛(wèi)、朱執(zhí)信、廖仲愷、戴季陶、葉楚傖、邵力子等都有過接觸，或經(jīng)常前往拜訪暢談，或聚在一起高談闊論。1921年1月的一天，張國(guó)燾等人還直接闖進(jìn)了孫中山在上海的住處。孫中山會(huì)見了他們，并同他們就學(xué)生運(yùn)動(dòng)和民眾運(yùn)動(dòng)、國(guó)民黨人對(duì)民眾運(yùn)動(dòng)的態(tài)度、南北政局以及如何進(jìn)行反對(duì)北京政府的革命等問題，進(jìn)行了長(zhǎng)達(dá)3個(gè)小時(shí)的談話。談話中，張國(guó)燾給孫中山留下了較好的印象。又過了10天，孫中山約張國(guó)燾去單獨(dú)會(huì)晤，主要談了有關(guān)時(shí)局和如何開展工人運(yùn)動(dòng)的問題。

在上海期間，張國(guó)燾還同研究系的張東蓀有過經(jīng)常的接觸。這時(shí)，張東蓀正擔(dān)任《時(shí)事新報(bào)》的總編輯。1920年春，研究系的首腦人物梁?jiǎn)⒊瑥臍W洲回到了上海，張東蓀約張國(guó)燾等人同梁晤談。梁?jiǎn)⒊v述了一番旅歐的觀感，言語之間特別強(qiáng)調(diào)學(xué)術(shù)研究的重要性，并感慨自己20余年從事政治運(yùn)動(dòng)徒勞無功，表示今后對(duì)政治已無興趣。他談到自己有一個(gè)研究文化的大計(jì)劃，希望青年學(xué)者給以幫助。張國(guó)燾等人則向他說明了被趕出課堂，無法安心研究學(xué)問，不得不從事反日愛國(guó)運(yùn)動(dòng)的情況，對(duì)他專心致力于文化工作的抱負(fù)，表示欽佩。辭別梁?jiǎn)⒊鰜?，張?guó)燾百感交集，一方面感慨梁?jiǎn)⒊谡紊系倪M(jìn)退失據(jù)，另一方面想到自己，雖一心想重理學(xué)業(yè)，可無法安心學(xué)習(xí)，天天疲于奔命。他陷入了內(nèi)心矛盾的痛苦之中。

北京的情形不容許張國(guó)燾回去，只好繼續(xù)留在上海。同孫中山第二次晤談后，張國(guó)燾開始注意工人運(yùn)動(dòng)，并和上海各工人團(tuán)體有過一些接觸。其中有一個(gè)名為“中華全國(guó)工業(yè)聯(lián)合協(xié)會(huì)”的組織，提出要張國(guó)燾擔(dān)任該協(xié)會(huì)的總干事，全權(quán)整理會(huì)務(wù)，發(fā)展組織。張國(guó)燾經(jīng)過一番考慮之后，便答應(yīng)了。于是，這個(gè)協(xié)會(huì)的理事會(huì)正式任命張國(guó)燾為總干事。3月初，在有300多人到會(huì)的會(huì)員大會(huì)上，張國(guó)燾發(fā)表了就職演說。

會(huì)后，張國(guó)燾很熱心地投入到協(xié)會(huì)的工作中去。他經(jīng)常深入到工廠，了解會(huì)員的情況。通過調(diào)查，他了解到這個(gè)協(xié)會(huì)雖號(hào)稱有1萬多名會(huì)員，實(shí)際上不過是僅僅見諸名冊(cè)而已，很多工廠只有幾名會(huì)員，甚至有的會(huì)員根本就不是工人。張國(guó)燾十分失望，初期的熱情也就逐漸減低下來。此后，他的職務(wù)雖然仍保留在那里，但事實(shí)上不常去辦公了。

到了4月間，張國(guó)燾收到北京同學(xué)寄來的幾封信，得知北京的情形已稍有好轉(zhuǎn)，如果返回北京，大概已沒有被捕的危險(xiǎn)了。

接到來信，張國(guó)燾思緒萬千，最后決意北返。后來，張國(guó)燾在回憶錄中描述了這時(shí)的心理感受：

我檢討我這次南行的經(jīng)過，北京學(xué)生聯(lián)合會(huì)給我的使命和我自己認(rèn)為要做的事大致都已做了。我和羅家倫雖然覺得我們的工作成績(jī)不如理想，但我們已竭全力盡了責(zé)任。

五四運(yùn)動(dòng)中的一些共事的同學(xué)們多半已離開了學(xué)校。在上海的幾位北大學(xué)生代表都已畢業(yè)，準(zhǔn)備出國(guó)留學(xué)。羅家倫已結(jié)束了他的代表任務(wù)，在那里和各方要人及文化界的人士接觸，準(zhǔn)備不久到美國(guó)去。五四運(yùn)動(dòng)中的另一個(gè)要角，風(fēng)流詩人康白情雖無代表的任務(wù)，也同我們一道活動(dòng)。他曾在上海徐家匯一個(gè)花園里舉辦名震一時(shí)的踏青會(huì)，參加的青年男女二百多人。他為這種交際弄得有點(diǎn)神魂顛倒，幾乎連到美國(guó)去深造的事都置之腦后。……此外，五四運(yùn)動(dòng)中的健將段錫朋、周炳琳等同學(xué)也先后赴美求學(xué)，路經(jīng)上海，都曾和我朝夕相聚。只有我，在北大還有兩年學(xué)程，照理自然應(yīng)該即時(shí)北返。

這些同學(xué)們都對(duì)我說，我如回到北京，仍會(huì)受到黑名單的干擾無法安心念書；不如和他們一道出國(guó)留學(xué)。但我仍決定重回北大。我認(rèn)為北京環(huán)境對(duì)我雖有困難，但求完成北大的學(xué)業(yè)總還有可能，而且多年相交的師友多數(shù)仍在北京，我和師友們所共建的學(xué)生運(yùn)動(dòng)和民眾工作的基礎(chǔ)，也使我有不忍放棄之感。

5月初，張國(guó)燾向中華全國(guó)工業(yè)聯(lián)合協(xié)會(huì)辭去了總干事的職務(wù)，乘車北返。在離開北京4個(gè)多月后，他終于又重新回到了母校北京大學(xué)。