然而，一場(chǎng)黨內(nèi)政治斗爭使潘文郁的人生開始從巔峰跌入低谷。

潘文郁的人生發(fā)生重大轉(zhuǎn)折，與王明有很大關(guān)系。1929年王明從莫斯科回到上海，此時(shí)的王明雖無官職，但卻和共產(chǎn)國際某些人有著特別好的關(guān)系。他在莫斯科中山大學(xué)學(xué)習(xí)的時(shí)候，就是共產(chǎn)國際領(lǐng)導(dǎo)人米夫眼里的大紅人。從一些小事上，可以看出他的特殊地位。例如王明回國途中的待遇，就與眾不同。米夫還作了特意的安排，火車上坐的是頭等包廂，兩人一個(gè)小包間，享受的是政治局委員的待遇。海參崴換輪船的時(shí)候，王明坐的是二等艙，其他的留學(xué)生大都坐三等艙。早在1927年4月，米夫在他任莫斯科中山大學(xué)副校長期間，就攜帶中大他最寵愛的學(xué)生王明到武漢，代表共產(chǎn)國際參加了中共五大，從而為王明在中共黨內(nèi)樹起了一定的形象。而剛從蘇聯(lián)回國時(shí)，王明只是《紅旗》雜志的一名普通編輯，在潘文郁的領(lǐng)導(dǎo)之下。王明對(duì)馬列主義的教條背得滾瓜爛熟，這也正是他深得米夫器重的地方。

同是莫斯科中大的學(xué)員，潘文郁成為中共主要領(lǐng)導(dǎo)人的得力助手，王明卻只是個(gè)普通編輯，他對(duì)潘文郁既羨慕又嫉妒。正巧不久又發(fā)生了王明被拘禁事件，王明對(duì)潘文郁產(chǎn)生了更大怨氣。那是1930年1月的一天，王明參加上海工會(huì)聯(lián)合會(huì)，被巡捕當(dāng)做普通違法分子拘禁。有報(bào)道說，當(dāng)時(shí)王明買通了一個(gè)印度巡捕，巡捕說“你找人拿錢我就放人”，王明違反地下工作紀(jì)律直接給潘文郁寫了個(gè)條子，送信給潘文郁，請(qǐng)求營救，并詢問有關(guān)同志的地址。這在事實(shí)上造成了泄密，嚴(yán)重違反了黨的保密原則。為了不讓黨組織遭受更大損失，潘文郁迅速向中央作了匯報(bào)。中共中央隨即采取緊急措施，及時(shí)轉(zhuǎn)移王明知道的機(jī)關(guān)。此后，王明被共產(chǎn)國際的米夫保釋出獄，受到了黨內(nèi)警告處分，并被調(diào)到總工會(huì)宣傳部當(dāng)了一名編輯。受到紀(jì)律處分后，王明遷怒于潘文郁，對(duì)潘文郁沒有及時(shí)保釋自己，一直耿耿于懷。

1930年底，莫斯科中山大學(xué)關(guān)門后，米夫又代表共產(chǎn)國際到上海來參加中共六屆四中全會(huì)。1931年1月7日，中共六屆四中全會(huì)在上海舉行。向忠發(fā)主持會(huì)議，并作了《中央政治局報(bào)告》。會(huì)上充滿了激烈的斗爭，王明在會(huì)上概述了他根據(jù)國際文件寫成的名為《兩條路線的斗爭》的小冊(cè)子中的觀點(diǎn)。在米夫的一手操縱下，會(huì)議選舉了新的中央政治局委員和候補(bǔ)中央委員。結(jié)果，李立三、瞿秋白等人落選，而原來連中央委員都不是的王明，一躍進(jìn)入政治局成為委員，并擔(dān)任中央書記處書記。名義上向忠發(fā)繼任總書記，實(shí)際上由王明獨(dú)攬大權(quán)。王明一步登天后，隨即以消除“立三路線”為名，對(duì)原來中央各部門的負(fù)責(zé)人和工作人員實(shí)行打擊，重新分配他們的工作。潘文郁是李立三的得力助手，王明對(duì)他有意打壓，潘文郁被解除中央宣傳部秘書的職務(wù)。一個(gè)月后，中共順直省委遭到破壞，北方形勢(shì)嚴(yán)峻，于是潘文郁從上海被派到北平，擔(dān)任中共順直省委一般的宣傳干事，人生開始走向低谷。

1931年的6月22日，原中共中央總書記向忠發(fā)私自外出，被國民黨上海警備司令部逮捕，寫下自首書后的第三天被處死。盡管潛伏在敵人內(nèi)部的中共地下黨員“龍?zhí)度堋敝坏腻X壯飛及時(shí)傳出情報(bào)，避免了由此可能帶來的重大損失，但給中共帶來的危害依然是巨大的。隨即，中央軍委干部胡章原投敵，導(dǎo)致中央宣傳部負(fù)責(zé)人羅綺同和中央監(jiān)察委員楊匏安等16人被捕。羅綺同自首叛變，楊匏安被殺害。