當(dāng)時，譚平山雖然被國共兩黨開除黨籍，“但是他并沒有因此消沉”，仍然關(guān)心著中國革命的前途。于是，譚平山利用自己在國共兩黨中的威望和影響，將上述各方面的人士召集起來，于1928年2月在上海成立了“國民黨左派聯(lián)合辦事處”，隨后定名為“中華革命黨”，以繼承和發(fā)揚(yáng)孫中山用中華革命黨改組國民黨，努力復(fù)興中國革命的精神。

由于中華革命黨的主張既不同于國民黨，也不贊成當(dāng)時中共的一些“左”傾政策，因此被人們稱為“第三黨”。這也招致了國共兩黨的不滿和打擊。以蔣介石為首的國民黨攻擊它是“共產(chǎn)黨的工具”、“共產(chǎn)黨的附庸”，而當(dāng)時的中共“左”傾中央則“指斥他們在反帝運(yùn)動和民眾運(yùn)動中動搖猶豫和妥協(xié)”。中華革命黨在譚平山的領(lǐng)導(dǎo)下，十分艱難地開展革命斗爭。

1930年5月，國民黨左派領(lǐng)袖鄧演達(dá)回國后，將中華革命黨改組為中國國民黨臨時行動委員會，繼續(xù)從事反蔣斗爭。譚平山支持鄧演達(dá)的反蔣主張和行動，但因在黨的改組問題上與其發(fā)生嚴(yán)重分歧，于是主動解除了自己對第三黨的領(lǐng)導(dǎo)責(zé)任，離開上海到香港繼續(xù)從事革命活動。

全面抗戰(zhàn)爆發(fā)后，譚平山從香港經(jīng)廣州回到武漢，要求參加抗日。蔣介石特別召見他，讓其參加起草《抗戰(zhàn)建國綱領(lǐng)》。1938年4月，國民黨臨時全國代表大會在武漢召開，譚平山被恢復(fù)國民黨黨籍，并被聘任為新設(shè)立的國民參政會參政員。隨后，他又被任命為三民主義青年團(tuán)臨時中央干事會常務(wù)干事兼法制委員會主任。然而，不久他對國民黨蔣介石的幻想就破滅了，決定不再參加國民黨、三青團(tuán)的會議。

當(dāng)時，中共駐重慶代表周恩來、董必武在了解到譚平山的情況后，對他給予了很大幫助和關(guān)懷，使他再次感到了黨的溫暖。1939年冬，譚平山經(jīng)過嚴(yán)肅認(rèn)真的思考，鄭重提出要求恢復(fù)中共黨籍，并離開國統(tǒng)區(qū)到延安去。對此，董必武希望他繼續(xù)留在國統(tǒng)區(qū)工作，爭取團(tuán)結(jié)各種抗日民主力量，那樣比去延安更能發(fā)揮作用。譚平山欣然接受，表示：“今后我的行動與黨的行動同一步調(diào)，黨的態(tài)度就是我的態(tài)度。”