孫中山離開廣東前，曾到大埔縣三河壩視察粵軍，又在汕頭的粵軍司令部同陳炯明等討論了軍事工作，促使粵軍早日入閩。旋即經(jīng)臺灣、日本，前往上海。在長達兩年多的時間里，他在十分困難的情況下工作著，并準備開展新的斗爭，以捍衛(wèi)迭遭踐踏毀棄的共和國。他集中精力從事著述，力求“以主義普及國民”。他回顧了走過的戰(zhàn)斗道路，希望從中獲致裨益于當前斗爭的經(jīng)驗與教訓(xùn)。在《孫文學(xué)說》的《自序》中，他承認多年的革命活動歸于失?。?ldquo;夫去一滿洲之專制，轉(zhuǎn)生出無數(shù)強盜之專制；其為毒之烈，較前尤甚。”《國父墨寶》，第7~19頁，北京北方雜志社1948年版。所以如此，“實多以思想錯誤而懈志也”。他批評了表現(xiàn)為“知易行難”觀念的因循茍且的陋習(xí)時，強調(diào)了實踐的廣泛可能性——“知難行易”。世界和中國發(fā)生的重大歷史事件，促使他思考和探索。孫中山同列寧領(lǐng)導(dǎo)的蘇維埃國家建立了直接的聯(lián)系，他收到了外交人民委員齊契林的復(fù)函。1919年爆發(fā)的“五四”運動，給孫中山以很大的啟示和激勵：“一般愛國青年無不以革新思想為將來革新事業(yè)之準備，于是蓬蓬勃勃，發(fā)抒言論，國內(nèi)各界輿論，一致同倡，各種新出版物為熱心青年所舉辦者，紛紛應(yīng)時而生，揚葩吐艷，各極其致，社會遂蒙絕大之影響，雖以頑劣之偽政府，猶且不敢攖其鋒。此種新文化運動，在我國今日誠思想界空前之大變動。”《總理全集》第3集，第343~348頁。其次，“整頓黨務(wù)”也是孫中山的主要活動內(nèi)容。1919年10月，正式宣布將中華革命黨改組為中國國民黨，所以加上“中國”兩字，以表示區(qū)別于1912年組建的國民黨。公布了新的規(guī)約，“以鞏固共和，實行三民主義”為宗旨?？偛糠衷O(shè)總務(wù)、黨務(wù)、財政三部，孫中山以總理身份指定居正、謝持和廖仲愷為主任。在此前后，孫中山反復(fù)闡述了革命政黨的重要作用，批判了辛亥革命后一度流行的“革命軍起，革命黨消”的論調(diào)：“革命未成功時，要以黨為生命。革命成功后，仍絕對用黨來維持。所以辦黨比無論何事都要重要。”《總理全集》下冊，《演講》丙，第10~11頁。他還強調(diào)必須以三民主義為政綱，因為它所規(guī)定的任務(wù)都未實現(xiàn)。以為“民族主義可以不要”的觀點是錯誤的，帝國主義至今還在“壓制中國人”，“我們還是三民主義，缺一不可”《中國國民黨本部通信》第60期。。反對北洋軍閥的斗爭從未停頓，孫中山不斷地促成四川、湖南、福建等地的革命黨人的團結(jié)與奮斗，同時，集中精力于驅(qū)除桂系軍閥的策劃。他聯(lián)絡(luò)唐繼堯、劉顯世和其他反桂力量，更主要的是敦促駐閩粵軍回師廣東，以便“撲滅桂賊”和“統(tǒng)一南方”，然后“出師北上”。陳炯明遲疑不決，只是在桂軍三路進迫下才出師討桂。由于群眾支持和其他反桂武裝力量的配合，粵軍進展順利，1920年10月攻克廣州，桂系殘部逃回廣西。

在新的形勢下，孫中山于11月由滬赴穗。他抵達廣州后立即重組軍政府，繼續(xù)履行職務(wù)。但他已意識到軍政府不能適應(yīng)形勢的要求，應(yīng)當建立正式政府。孫中山在1921年元旦舉行的南京臨時政府成立紀念會上明確指出：“此次軍府回粵，其責任固在繼續(xù)護法。但余觀察現(xiàn)在大勢，護法斷斷不能解決根本問題。”因為“護法不過矯正北政府之非法行為，即達目的，于中華民國亦無若何裨益。況護法乃國內(nèi)一部分問題，對內(nèi)仍承認北京政府為中央政府，對外亦不發(fā)生國際之地位之效力”。所以，“廣東此時實有建立正式政府之必要”。上?！睹駠請蟆?921年1月11日。盡管陳炯明等不表贊成，但孫中山的正確主張得到了大多數(shù)人的支持。4月，國會非常會議選舉孫中山為非常大總統(tǒng)，通過《中華民國政府組織大綱》。孫中山于5月5日就職，并組建了民國政府。