血染蘇區(qū)張國燾在莫斯科一住就是兩年半，直到1931年元月下旬，他才與夫人楊子烈奉命返回上海。在此前剛剛召開的六屆四中全會上，張國燾當選為中央政治局常委。

六屆四中全會后，中央為了加強對蘇區(qū)的領(lǐng)導(dǎo)，決定向各根據(jù)地派遣中央代表、中央代表機關(guān)或新的領(lǐng)導(dǎo)干部，如《中央關(guān)于蘇維埃區(qū)域黨的組織決議案》稱：“中央局或中央分局是代表中央的，他有權(quán)可以改正和停止當?shù)刈罡唿h部的決議與解散當?shù)攸h委，當?shù)兀ó數(shù)攸h委）錯了的時候?！笨梢娺@些中央代表權(quán)力之大。

當時共產(chǎn)黨在全國建立了十幾塊革命根據(jù)地，比較有實力的根據(jù)地主要有江西井岡山根據(jù)地，鄂豫皖邊區(qū)和湘鄂西邊區(qū)。中央決定在鄂豫皖和湘鄂西兩區(qū)分別設(shè)立中央分局，主管軍事的常委周恩來向張國燾征求意見：

“鄂豫皖和湘鄂西兩邊區(qū)都很重要，特立同志，你準備去哪個邊區(qū)任職？”

“湘鄂西那邊，已經(jīng)有夏曦、關(guān)向應(yīng)主持，就不要變動了，我以前當過湖北區(qū)委書記，對那邊的情況比較熟悉，我去鄂豫皖吧?！?/p>

“那么你挑選幾位同志同你一同前往吧?！敝芏鱽碛终f。

“沈澤民和陳昌浩。”

當時沈澤民已經(jīng)在前不久被派往鄂豫皖蘇區(qū)工作，張國燾與陳昌浩于4月1日一起離開上海，于4月中旬抵達鄂豫皖蘇區(qū)，此時正值蘇區(qū)紅軍進行第二次反“圍剿”激戰(zhàn)中，張國燾隨即赴皖西參加到領(lǐng)導(dǎo)紅四軍對進犯敵軍陳調(diào)元部的反擊之中。這是張國燾到蘇區(qū)后第一次參加指揮紅軍作戰(zhàn)。

5月末，紅四軍徹底粉碎國民黨發(fā)動的對鄂豫皖根據(jù)地的第二次“圍剿”。5月中旬，中共中央鄂豫皖分局、鄂豫皖省委正式成立，并根據(jù)中央指示改組鄂豫皖革命軍事委員會。張國燾、陳昌浩、沈澤民、曾中生、鄺繼勛等11人為中央分局委員；張國燾、曾中生、曠繼勛、徐向前、沈澤民、陳昌浩等七人組成軍委會，張國燾任分局書記兼軍委主席，曾中生、鄺繼勛任軍委副主席，沈澤民任鄂豫皖省委書記。

隨后，對紅四軍領(lǐng)導(dǎo)干部作了調(diào)整，鄺繼勛仍繼續(xù)擔(dān)任紅四軍軍長，原鄂豫皖特委書記曾中生任紅四軍政治委員，下轄第十、第十一、第十二、第十三師。

為了樹立第一把手的威信，張國燾新官上任三把火，首先抓了當時最為緊迫的糧食問題，同時整頓和擴編地方武裝，動員群眾擁軍參軍，做了一些卓有成效的工作，推動了紅軍和鄂豫皖根據(jù)地的發(fā)展。

蔣介石對鄂豫皖第二次“圍剿”失敗后，調(diào)整兵力，對江西蘇區(qū)進行第三次“圍剿”，對鄂豫皖蘇區(qū)暫取守勢。在此情況下，中央分局擴大會議在討論戰(zhàn)略行動方針時出現(xiàn)了“東進”與“南下”兩種意見。

由于中央給紅四軍下達了援助江西革命根據(jù)地反“圍剿”的任務(wù)，張國燾只好放棄“東進”的意見，同意紅四軍領(lǐng)導(dǎo)曾中生、許繼慎、徐向前等人“南下”的主張。但就紅軍南下的具體方向問題，在7月上旬鄂豫皖中央分局、軍事委員會再次召開的會議上，雙方再次產(chǎn)生分歧。

張國燾認為，既是援助中央根據(jù)地，就必須攻占國民黨占領(lǐng)的大城市，因此提出打英山，攻潛山，出太湖，進逼安慶（當時的安徽省府），威脅南京的戰(zhàn)略方案。