1927年3月，譚平山被任命為武漢國(guó)民政府農(nóng)政部長(zhǎng)，負(fù)責(zé)農(nóng)民和土地問題。同年4月，譚平山出席在武漢召開的中共“五大”，并被選為中共中央委員、中央政治局委員。會(huì)后又與毛澤東等人一起被任命為中共中央農(nóng)民委員會(huì)委員。譚平山強(qiáng)調(diào)，“中國(guó)革命就是要解決農(nóng)民問題”，“農(nóng)民問題擺在面前，不能懷疑，不能等待”。但隨著農(nóng)民運(yùn)動(dòng)的深入發(fā)展，又被黨內(nèi)外許多人指責(zé)為“過火”行為，這使譚平山陷入了左右為難的尷尬境地。

蔣介石發(fā)動(dòng)“四一二”政變后，中共中央遵照共產(chǎn)國(guó)際的指示，為了拉住所謂的國(guó)民黨“左派”汪精衛(wèi)，不斷地妥協(xié)讓步，甚至要求參加政府的共產(chǎn)黨員“請(qǐng)假”，以減少“政局之糾紛”。1927年6月底，譚平山不得不“因病請(qǐng)長(zhǎng)假”離開農(nóng)政部。但這也未能挽救危局，隨著汪精衛(wèi)發(fā)動(dòng)“七一五”政變，國(guó)共合作宣告徹底破裂。

1927年7月19日，譚平山與李立三、鄧中夏等從武漢到達(dá)九江，隨即主持召開座談會(huì)，決定發(fā)動(dòng)南昌起義，并派人請(qǐng)示中央。從現(xiàn)有資料看，這是第一次提出南昌起義問題，譚平山也由此成為南昌起義的最早發(fā)起人。

7月27日，譚平山與賀龍、惲代英等到達(dá)南昌，隨即成立了以周恩來為書記的前敵委員會(huì)，負(fù)責(zé)領(lǐng)導(dǎo)起義工作。譚平山雖然不是前敵委員會(huì)的成員，但由于他在國(guó)共兩黨中的崇高威望，又是這次起義的最早提議者，因此一直參與前敵委員會(huì)的領(lǐng)導(dǎo)工作，并負(fù)有重要的政治責(zé)任。

起義準(zhǔn)備工作一切就緒后，張國(guó)燾突然于7月30日以中共中央代表的身份趕到南昌，竭力阻撓起義的進(jìn)行，說：“中央意見宜慎重，國(guó)際電報(bào)說如有成功把握，可舉行暴動(dòng)，否則不可動(dòng)?！弊T平山當(dāng)即和張國(guó)燾爭(zhēng)吵起來，大罵張國(guó)燾“混蛋”，甚至提出如果張國(guó)燾再繼續(xù)反對(duì)起義，就把他殺了。正是由于譚平山等人的堅(jiān)持，南昌起義才得以如期舉行。

8月1日，南昌起義爆發(fā)，勝利的紅旗插上了南昌城頭，并隨后成立了革命政權(quán)機(jī)關(guān)——中國(guó)國(guó)民黨革命委員會(huì)，由譚平山出任主席團(tuán)主席。譚平山對(duì)起義的成功異常興奮，認(rèn)為：“過去中央采取妥協(xié)政策，只有八一南昌起義，才算真正把領(lǐng)導(dǎo)權(quán)掌握起來，從而開創(chuàng)了我黨和中國(guó)革命的一個(gè)新時(shí)期，因此它可以和十月革命相比?！?/p>