4月10日，蔣介石又宣布解散共產(chǎn)黨人占優(yōu)勢的國民革命軍總政治部。

同一天，上海青幫頭子黃金榮等通電反共，要其黨羽“揭竿為旗，斬木為兵”，消滅共產(chǎn)黨。

陳獨秀也有些著急了。

于是中共中央決定，派李立三、陳延年、聶榮臻，同共產(chǎn)國際代表蘇聯(lián)人維辛斯基緊急趕往上海，弄清情況，并同周恩來一起，領(lǐng)導(dǎo)上海的反蔣斗爭。

聶榮臻的任務(wù)是協(xié)助周恩來處理武裝斗爭方面的問題。

待聶榮臻一行到達(dá)南京，震撼全中國乃至全世界的“四一二”反革命政變已經(jīng)發(fā)生，大批共產(chǎn)黨員和革命群眾倒臥在血泊之中。

李立三、聶榮臻等于4月13日晚上到了上海。

到了趙世炎家里，了解了初步情況，以后又通過趙世炎，找到了周恩來。

到上海后，聶榮臻遵照中央和周恩來的指示，立即著手在工人糾察隊中進(jìn)行工作。

在同工人的接觸中，他逐步知道了“四一二”反革命政變的經(jīng)過情形。

在事變中，數(shù)以萬計的游行群眾，被打死一百多人，傷者不計其數(shù)。

馬路被鮮血染紅，慘絕人寰。

隨后蔣介石在全上海瘋狂地搜捕、屠殺共產(chǎn)黨員和革命群眾的行動全面展開，上?？偣环忾]，上海的中共各級黨組織全部被迫轉(zhuǎn)入秘密狀態(tài)。

4月16日至18日，由周恩來、李立三、陳延年、趙世炎等組成的特務(wù)委員會召開會議。

周恩來在會上發(fā)言，主張共產(chǎn)黨聯(lián)合國民黨左派，先討伐蔣介石，再進(jìn)行北伐。

聶榮臻完全同意周恩來的意見。

但陳獨秀對此沒有表態(tài)，仍在謀求同蔣介石妥協(xié)。

4月下旬到5月上旬，聶榮臻住在顏昌頤家里，協(xié)助周恩來，將幸存的工人糾察隊員轉(zhuǎn)入秘密狀態(tài)，隱藏好槍支彈藥，設(shè)法營救被捕人員，對犧牲和被捕的工人糾察隊家屬進(jìn)行救濟。

5月中旬，聶榮臻同周恩來一起，秘密乘輪船溯江而上，回到了武漢。

“四一二”反革命政變，使聶榮臻對蔣介石的認(rèn)識，從封建把頭、反動政客，上升為反革命陰謀家。

蔣介石兩手都拿著刀，兇狠殘暴，對待這樣的敵人，革命者也只有拿起刀，走武裝斗爭的道路，才能使中國革命免遭厄運。

這就是在中國大革命的困境中，聶榮臻得出的結(jié)論。

5月25日，中共中央決定成立軍事部，由周恩來任部長。

湖北區(qū)委軍委并入軍事部，聶榮臻任周恩來的助手，同王一飛、顏昌頤、歐陽欽等一起，協(xié)助周恩來，對軍隊進(jìn)行組織、聯(lián)絡(luò)和政治工作，指導(dǎo)武漢工人糾察隊和廣東、湖南兩地的農(nóng)民運動。