和上次一九二七年下野一樣，蔣介石在一九三一至一九三二年的冬天于溪口賦閑，不久就接到黃埔系將領(lǐng)函電交馳，宣稱僅肯接受他的命令，又說自從他下野，就再也沒收到支付部隊(duì)糧餉的資金。政府主要?dú)q入來源是關(guān)稅收入，東北一失，關(guān)稅流失占了全國海關(guān)總稅收的百分之十五。中央政府雖換由孫中山之子孫科領(lǐng)導(dǎo)，各省扣住鹽稅不肯上繳。工商組織、民間團(tuán)體甚至一些青年社團(tuán)現(xiàn)在疾呼總司令回任。蔣亦獲悉，莫斯科繼釋放蔣經(jīng)國之計(jì)，又向南京提議恢復(fù)外交關(guān)系。蔣可以肯定斯大林企圖增強(qiáng)國民黨內(nèi)反日派的聲勢，而又不明白蔣的真正立場。

一九三二年一月蔣在溪口武嶺學(xué)校的一篇演講，經(jīng)上海等地報(bào)紙刊載。他重申政府“堅(jiān)持不屈服，不訂損共國權(quán)之約”。但是，他也警告，鑒于當(dāng)前國家實(shí)力和精神，不宜輕舉妄動(dòng)，否則“戰(zhàn)敗之國未有不失地，未有不喪權(quán)者”，結(jié)果勢必“斲喪……中華民族之命脈”。他的話引起當(dāng)家負(fù)責(zé)的同志共鳴。固然南京政府當(dāng)權(quán)派只有少數(shù)人喜歡蔣，而廣州那一伙更沒人喜歡他，他們不情愿地接受，在此一危機(jī)下，他畢竟是不可或缺的人物；一個(gè)月之內(nèi)，他們投降了。一九三二年一月，蔣和汪精衛(wèi)在杭州會(huì)面，協(xié)議由汪精衛(wèi)取代孫科出任政府首腦，蔣回任軍事總司令。

此時(shí)，和日本的危機(jī)已轉(zhuǎn)移到上海，在上海每天都有暴力的反日事件發(fā)生。6一月底，日本一支陸戰(zhàn)隊(duì)以保護(hù)僑民的名義在上海登陸。當(dāng)蔡廷鍇的第十九路軍向日軍開火時(shí)，日本出動(dòng)飛機(jī)轟炸上海，殺死許多平民。蔣親自負(fù)責(zé)全面調(diào)度指揮軍事行動(dòng)，通電前線士卒誓死御敵。同時(shí)，他下令在河南省洛陽設(shè)立臨時(shí)首都，以示政府決心持久抗戰(zhàn)。日本急派更多部隊(duì)和軍艦，使得全市日軍高達(dá)五萬人。杜月笙也派出青幫狙擊手在敵后攻擊日本人。

根據(jù)蔣的說法，他警告蔡廷鍇，敵軍可能從長江南岸的瀏河國軍防線后方登陸。蔡未能派出部隊(duì)守住此一地區(qū)。三月一日，一萬名日軍乘船溯長江抵達(dá)瀏河。打從戰(zhàn)事開始，中方部隊(duì)就有四千人陣亡、七千七百人負(fù)傷，再也抵抗不了，全部退出上海。中國報(bào)紙、學(xué)生團(tuán)體、宗親會(huì)、寺廟和商業(yè)團(tuán)體，無不主張全面抗日，但蔣批準(zhǔn)局部?；穑诔堑乃闹軇澇鲋辛^(qū)，國軍不準(zhǔn)進(jìn)入。這個(gè)協(xié)定，和其政府與日本的一切協(xié)議相同，不由汪精衛(wèi)或他本人簽署；在他們眼里，協(xié)議因此是非官方的文件。三月，蔣就任軍事委員會(huì)委員長及總參謀長。

由于日本攻擊上海中國管轄區(qū)使得政府不遑兼顧，中共分散各地的蘇區(qū)乘機(jī)快速發(fā)展。毛澤東在江西的蘇區(qū)規(guī)模最大，涵蓋三十個(gè)縣、三百萬人口；其次是張國燾的鄂豫皖邊區(qū)。國軍針對(duì)鄂豫皖邊區(qū)發(fā)動(dòng)兩次圍剿都以慘敗告終，在淞滬戰(zhàn)事冷卻下來之后，蔣于一九三二年四月集結(jié)約四十萬部隊(duì)再次進(jìn)剿，這次包圍中興建同心圓的碉堡步步進(jìn)逼。張國燾發(fā)覺自己寡不敵眾，且即將被徹底包圍，遂率領(lǐng)鄂豫皖邊區(qū)大部分部隊(duì)突圍，往西邊的四川撤離，歷時(shí)四年，其實(shí)比毛澤東的“長征”更壯觀。一九三二年六月，蔣在一項(xiàng)軍事會(huì)議上講話，宣稱中共的根基就是國民政府機(jī)器的無能和貪腐……如果我們這次（圍剿）不能取得決定性的勝利，將有大麻煩，因?yàn)檎荒芗瓤谷斩蠓皆馊斯?。但是一九三二年和一九三三年初針?duì)江西共軍的圍剿之役又失敗，且損失慘重，數(shù)以千計(jì)的武器被共軍搶走。一九三三年五月，蔣指揮第五次圍剿戰(zhàn)役，采納對(duì)付鄂豫皖邊區(qū)的戰(zhàn)術(shù)，集中力量興建碉堡網(wǎng)，逐步圍攏。這次他召集了八十萬大軍，大部分投入在擴(kuò)建、補(bǔ)給和維護(hù)碉堡網(wǎng)，它們則受到機(jī)關(guān)槍交織火網(wǎng)的保護(hù)。雙方損失皆以千計(jì)，但是到了一九三四年，作戰(zhàn)區(qū)蓋了一萬四千座碉堡，修了近兩千五百公里的新道路，提供對(duì)共軍地盤的有效封鎖。