上海黨組織是中國大地上的第一個共產黨早期組織，成為中國共產黨的發(fā)起組織和聯(lián)絡中心。上海組發(fā)起之后就創(chuàng)辦了《勞動界》周刊，向工人進行馬克思主義的宣傳，是馬克思主義與中國工人運動相結合的最早嘗試。李漢俊正是這個周刊的主編。

李漢俊還負責幫助各地建立共產黨早期組織，并擔任聯(lián)絡工作。1920年夏，他寫信給董必武、張國燾，希望武漢也建立共產黨組織。董必武曾回憶說：“1920年，李漢俊這個從日本歸國的學生，我的馬克思主義老師，在上海幫助建立中國共產黨，并到武漢來同我商量，我決定參加，并負責籌組黨的湖北支部?！倍匚涞娜朦h介紹人就是李漢俊和劉伯垂，也就在這年秋天，湖北黨組織成立起來了。

1920年12月，陳炯明要求陳獨秀到廣州去辦教育，陳獨秀起身前，上海的工作就交給了李漢俊等人。李漢俊代理書記一職，負責全面領導工作，還和陳望道接受了《新青年》的主編工作。

上海社會主義青年團建立后，李漢俊參加培訓團員，又到外國語學社教學，創(chuàng)辦教育委員會，十分支持青年工作。教育委員會還選派了任弼時、劉少奇等優(yōu)秀青年赴俄留學，培養(yǎng)了一批革命骨干。第二年年初，李漢俊又介紹沈雁冰入黨。

1921年春，陳獨秀正在籌備召開黨的成立大會相關事宜，他起草了一份黨綱寄給李漢俊，征求他的意見。李漢俊對其中一條“集權制”的規(guī)定十分不滿，本來他就反感陳獨秀的家長制作風，看到這一條就斷然否決了，按他的意思，最好是搞分權制，這給二人的關系投下了陰影。

1921年7月23日，中國共產黨第一次代表大會在上海法租界望志路106號李漢俊和胞兄李書城的家中召開。李漢俊和李達作為上海的代表出席了這次大會。7月25日、26日休會，由李漢俊、董必武、張國燾、劉仁靜起草黨的綱領、工作計劃和成立宣言。會議結束后，由李漢俊和董必武共同起草了大會向共產國際作的關于中國情形的報告。