上海黨組織是中國大地上的第一個(gè)共產(chǎn)黨早期組織，成為中國共產(chǎn)黨的發(fā)起組織和聯(lián)絡(luò)中心。上海組發(fā)起之后就創(chuàng)辦了《勞動(dòng)界》周刊，向工人進(jìn)行馬克思主義的宣傳，是馬克思主義與中國工人運(yùn)動(dòng)相結(jié)合的最早嘗試。李漢俊正是這個(gè)周刊的主編。

李漢俊還負(fù)責(zé)幫助各地建立共產(chǎn)黨早期組織，并擔(dān)任聯(lián)絡(luò)工作。1920年夏，他寫信給董必武、張國燾，希望武漢也建立共產(chǎn)黨組織。董必武曾回憶說：“1920年，李漢俊這個(gè)從日本歸國的學(xué)生，我的馬克思主義老師，在上海幫助建立中國共產(chǎn)黨，并到武漢來同我商量，我決定參加，并負(fù)責(zé)籌組黨的湖北支部。”董必武的入黨介紹人就是李漢俊和劉伯垂，也就在這年秋天，湖北黨組織成立起來了。

1920年12月，陳炯明要求陳獨(dú)秀到廣州去辦教育，陳獨(dú)秀起身前，上海的工作就交給了李漢俊等人。李漢俊代理書記一職，負(fù)責(zé)全面領(lǐng)導(dǎo)工作，還和陳望道接受了《新青年》的主編工作。

上海社會(huì)主義青年團(tuán)建立后，李漢俊參加培訓(xùn)團(tuán)員，又到外國語學(xué)社教學(xué)，創(chuàng)辦教育委員會(huì)，十分支持青年工作。教育委員會(huì)還選派了任弼時(shí)、劉少奇等優(yōu)秀青年赴俄留學(xué)，培養(yǎng)了一批革命骨干。第二年年初，李漢俊又介紹沈雁冰入黨。

1921年春，陳獨(dú)秀正在籌備召開黨的成立大會(huì)相關(guān)事宜，他起草了一份黨綱寄給李漢俊，征求他的意見。李漢俊對其中一條“集權(quán)制”的規(guī)定十分不滿，本來他就反感陳獨(dú)秀的家長制作風(fēng)，看到這一條就斷然否決了，按他的意思，最好是搞分權(quán)制，這給二人的關(guān)系投下了陰影。

1921年7月23日，中國共產(chǎn)黨第一次代表大會(huì)在上海法租界望志路106號李漢俊和胞兄李書城的家中召開。李漢俊和李達(dá)作為上海的代表出席了這次大會(huì)。7月25日、26日休會(huì)，由李漢俊、董必武、張國燾、劉仁靜起草黨的綱領(lǐng)、工作計(jì)劃和成立宣言。會(huì)議結(jié)束后，由李漢俊和董必武共同起草了大會(huì)向共產(chǎn)國際作的關(guān)于中國情形的報(bào)告。