但是，由于敵強我弱、寡不敵眾，起義隊伍隨即撤出南昌城，并在南下途中失敗，譚平山也因此被迫流落港澳。在此期間，武漢國民黨中央于8月8日宣布開除領(lǐng)導(dǎo)南昌起義的譚平山、林伯渠、惲代英等人的國民黨黨籍，褫奪現(xiàn)職，緝拿訊辦。對此，譚平山得知后，不過一笑了之。但令他沒有想到的是，11月9—10日，中共中央臨時政治局在上海召開擴大會議，處分了一大批黨內(nèi)干部，毛澤東被開除出政治局，周恩來也受到紀律處分，譚平山則受到最嚴厲的處分，直接被開除黨籍。

后來，周恩來曾回憶說，譚平山“被開除黨籍的原因，是張國燾反對南昌起義，譚平山對一位師長說，張國燾若反對起義就把他殺掉。當(dāng)時我任前委書記，這位師長來征求我的意見，我說黨內(nèi)斗爭不能這樣做。后來有人把這事告訴了共產(chǎn)國際代表，共產(chǎn)國際代表就決定把譚平山開除了。今天看來，這個處分是不完全妥當(dāng)?shù)摹?/p>

李立三則指出：“譚平山在南昌暴動是一貫的機會主義。他單獨的行動與國民黨左派聯(lián)合宣傳要組織新的黨，沿途開始新黨的活動（其實在武漢時已開始），企圖成立第三黨。譚平山離開黨的傾向在南昌暴動完全表現(xiàn)，后來黨開除譚平山?！碑?dāng)時，中共黨內(nèi)許多人都認為，第三黨比國民黨右派還要壞，是絕對不能容忍的。

1928年春，譚平山回到上海，到處尋找黨組織，卻無人理睬。這時，他才得知自己已被開除黨籍。譚平山認為處分過重，心里很不服氣，曾多次寫報告，請熟人轉(zhuǎn)交黨組織，要求進行復(fù)議，恢復(fù)黨籍和去蘇聯(lián)學(xué)習(xí)，但始終沒有得到同情和理解。當(dāng)時，譚平山無處申述，無法辯解，也無法參加黨的任何工作，心情十分沉重：“像一個在大海中航行失去了指南針的小船一樣的痛苦?！?/p>

大革命失敗后，許多國民黨左派人士和一部分失去組織關(guān)系的共產(chǎn)黨員紛紛云集上海。他們在政治上找不到出路，生活上又沒有著落，在茫茫上海灘無所適從，就像“無壇廟可歸的青年游魂”。