陳其美死后，蔣介石顯然一度精神崩潰，蔣母到上海照料他。在袁世凱的天羅地網(wǎng)般的追緝下，他可能得到青幫之助才躲過被捕的命運(yùn)。一九一七年，他被任命為孫中山的軍事顧問，接下來三四年時間寄身“客家將軍”陳炯明領(lǐng)導(dǎo)的粵軍第二縱隊(duì)。蔣介石并不信任陳炯明，提醒孫中山要小心。蔣介石既不能自己選擇干部、又不能訓(xùn)練自己的部隊(duì)，建議解散第二縱隊(duì)，約近一年之后請假離營（前往上海和東京），最后辭職離開縱隊(duì)。蔣介石后來屢次在情勢不佳時就來辭職走人這一招，以證明他是無可取代的。他發(fā)覺這一招通常會使得工作環(huán)境改善，權(quán)力也得以增大。這招果然奏效。孫中山和陳炯明都請他回來改組粵軍。蔣介石猶豫不決，直到反對孫中山的桂系部隊(duì)殺害了孫中山的好友朱執(zhí)信之后才決定回廣州。他決定回粵，也可能是因?yàn)閷O寫了一封言詞懇切的信邀他：

執(zhí)信忽然殂逝，使我如失左右手。計(jì)吾黨中知兵事而能肝膽相照者，今已不可多得，惟兄之勇敢誠篤，與執(zhí)信比，而知兵則尤過之。兄性剛而嫉俗過甚，故常齟齬難合，然為黨負(fù)重大之責(zé)任，則勉強(qiáng)犧牲所見而降格以求，所以為黨，非為個人也。

蔣介石回到崗位之后，獲悉陳炯明沒按照他擬定的計(jì)劃收拾桂軍，又是大怒。他到上海向?qū)O中山抱怨此事，孫中山也沒給他滿意的答復(fù)。他對兩人都厭煩透了，就以母親一九二一年六月去世為理由回到溪口，擺脫這個煩人的局勢。他來來回回直到十一月把蔣母下葬。

一九二一年十二月五日，蔣介石再婚，這次的對象是他自己選的。新娘名叫陳潔如，英文名珍妮（Jennie）。蔣介石第一次見到她是一九一九年。她又瘦又高，和他鄉(xiāng)下的元配完全相反。依據(jù)陳潔如的說法，她原先對他并沒什么興趣，躲他躲了一陣子，尤其是他曾把她騙進(jìn)一家旅館，企圖用強(qiáng)暴的方式占有她。（當(dāng)時他三十二歲，她只有十三歲。）