6月初，黃郛因?qū)θ胀饨晦k理不當(dāng)，引咎辭職，蔣介石旋正式任命王正廷為外交部長(zhǎng)。王就職不久，即與日方就“濟(jì)南慘案”開(kāi)始非正式的談判。談判地點(diǎn)就在上海法租界古拔路王的家中。

當(dāng)時(shí)，日方代表是駐滬總領(lǐng)事矢田，中國(guó)代表是外交部亞洲司司長(zhǎng)周龍光。矢田聲稱，中國(guó)軍隊(duì)在濟(jì)南殺害日本僑民，搶劫日商財(cái)產(chǎn)，損失浩大，日本不得已出兵，解決濟(jì)案，中國(guó)必須道歉，懲辦肇事禍?zhǔn)椎鹊?。中方答以?jì)案發(fā)生其根源在日本出兵，是非曲直，自有定論。是非責(zé)任及雙方損失真情，都應(yīng)以調(diào)查為準(zhǔn)，但最重要者，為日本應(yīng)從速撤兵。但一談及此點(diǎn)，矢田總是避而不答，雙方意見(jiàn)相持不下，談判遂告中斷。矢田雖然受命于日本政府，但其為人卻有樸直一面，每逢中方激烈抨擊，他并不狡賴，似有一種理屈之感。當(dāng)交涉破裂之后，日本各新聞?dòng)浾咦穯?wèn)他破裂原因，談到撤兵一節(jié)，他的言語(yǔ)中隱約帶出“根本就不應(yīng)出兵”之意。這話傳到田中耳朵里，他馬上把矢田撤調(diào)回國(guó)。矢田在仕途中再無(wú)升遷。

但據(jù)當(dāng)時(shí)情況看，日方并非不急于解決，只是不肯輕易吐口，外表上裝出一副無(wú)關(guān)緊要的樣子，所以談判時(shí)斷時(shí)續(xù)。后來(lái)日本外務(wù)省又派職員上村到南京，以帝大同學(xué)關(guān)系，私人探訪周龍光，裝著無(wú)意中談及濟(jì)南問(wèn)題，來(lái)探口氣。上村自己表示，如必要時(shí)，他愿做“魯仲連”（東周列國(guó)人物，齊人，不屑仕宦，專好遠(yuǎn)游，為人排難解紛）。因而濟(jì)案談判遂又被拾起。雙方爭(zhēng)執(zhí)焦點(diǎn)仍在日方撤兵問(wèn)題上。國(guó)民黨方面要求日方先撤兵再談其他。日方則企圖先談妥其他再談撤兵，以便有兵好挾制中國(guó)。因此雙方在南京舉行了三次會(huì)談，皆無(wú)結(jié)果。就這樣拖了好幾個(gè)月。在國(guó)民黨方面，因?yàn)檫@時(shí)已攻下北京，奉軍也退至關(guān)外，蔣介石的勢(shì)力已擴(kuò)展到華北，濟(jì)南問(wèn)題已經(jīng)不是他最關(guān)心的事了，所以國(guó)民黨政府并不十分急于解決。但這種拖延戰(zhàn)術(shù)卻使日本方面沉不住氣了。因?yàn)槿毡菊畡趲焺?dòng)眾，駐軍國(guó)外，盡管統(tǒng)治者混淆是非，蒙騙大眾，但多數(shù)人畢竟不愿卷入戰(zhàn)爭(zhēng)，連日本的財(cái)閥集團(tuán)亦因長(zhǎng)期未能獲得更多的現(xiàn)實(shí)利益，而嘖有怨言。于是在1928年年底，幾經(jīng)波折，日本駐華公使芳澤謙吉又同王正廷進(jìn)行非正式談判。

芳澤返華回任，不由天津直接赴北京，而先到上海，借口轉(zhuǎn)道南京北上，實(shí)際在試探中方態(tài)度，想重開(kāi)談判之門(mén)。芳澤抵滬即派人轉(zhuǎn)告周龍光，說(shuō)公使此來(lái)帶有誠(chéng)意解決濟(jì)案問(wèn)題，是否可請(qǐng)王正廷與其會(huì)面？周龍光馬上跑去問(wèn)王正廷，王正廷態(tài)度仍很強(qiáng)硬：“以前談判停頓之關(guān)鍵，在于撤兵問(wèn)題。此次芳澤公使來(lái)，是否能辦到撤兵？他如果能有權(quán)決定撤兵，則可一談，否則談也無(wú)益。”周龍光把話遞過(guò)去，芳澤連說(shuō)撤兵問(wèn)題可以考慮。王正廷回了一聲：“那就到南京我家里來(lái)見(jiàn)?！?/p>