籌備建立共產(chǎn)黨的事宜正在緊張地進(jìn)行，張國燾在為陳獨秀分擔(dān)工作的同時，也有機會了解到陳獨秀的建黨思想，并有足夠的時間與陳獨秀探討當(dāng)前局勢、三民主義、社會革命、共產(chǎn)主義運動，以及建黨的諸多問題。

陳獨秀在許多問題上的見解都使他受益匪淺，又親眼見到、親身參與建黨活動，使他無論從感性認(rèn)識還是從理論認(rèn)識上，都有了一個大的飛躍。

8月，上海共產(chǎn)黨小組正式成立，機關(guān)刊物為《共產(chǎn)黨》，這是中國第一個共產(chǎn)黨小組。9月，張國燾興致勃勃返回北京。此時皖系軍閥在直皖大戰(zhàn)中失敗，北京政權(quán)被直系曹錕、奉系張作霖聯(lián)合控制，形勢已趨穩(wěn)定。張國燾重返校園后，首先去紅樓李大釗在圖書館的辦公室，向李大釗介紹了上海共產(chǎn)黨小組成立的詳情，并說：

“陳獨秀先生讓我轉(zhuǎn)告您，希望您能在北京盡快成立共產(chǎn)黨小組?！?/p>

“好，我已經(jīng)有個初步考慮?！?/p>

此時李大釗已經(jīng)收到陳獨秀的來信，請他在北京成立共產(chǎn)黨小組，以南北呼應(yīng)

“我們就依照上海共產(chǎn)黨小組的模式，在北京也建立一個同樣的共產(chǎn)黨小組。”

隨后，李大釗將自己的決定告知張申府，邀請他參與發(fā)起建立共產(chǎn)黨小組。張國燾則聯(lián)系了羅章龍、劉仁靜兩名同學(xué)參加進(jìn)來。

9月中旬，北京共產(chǎn)黨小組在李大釗的圖書館主任辦公室召開第一次會議，張國燾、張申府、劉靜仁、羅章龍與無政府主義者黃凌霜、陳德榮等共九人到場，與李大釗共同商議發(fā)起北京共產(chǎn)黨小組的相關(guān)問題。

張國燾向大家介紹了上海共產(chǎn)黨小組的詳細(xì)情況，會議最終商定了工作如何進(jìn)行和分配，其中李大釗負(fù)責(zé)聯(lián)絡(luò)工作，張國燾擔(dān)任工人運動的發(fā)動工作，黃凌霜、陳德榮負(fù)責(zé)創(chuàng)辦《勞動音周刊》的編輯與發(fā)行工作，羅章龍、劉仁靜負(fù)責(zé)組織社會主義青年團(tuán)。