已經(jīng)在日本游說的張群，接到蔣介石的命令，在日本的決策人物中間進(jìn)行乞和活動。張群在上一年里，曾陪訪日的蔣介石去見田中義一首相，已經(jīng)從田中那時的態(tài)度覺察到日本是反對北伐的。但北伐必須經(jīng)過濟南。有過日本第一次出兵山東之舉，所以蔣介石非常擔(dān)心發(fā)生沖突。所以在濟南事件發(fā)生前，國民革命軍曾通過日本友人要求日軍由濟南移駐青島，此項軍費由蔣方全部負(fù)擔(dān)。因為張宗昌的部隊已向北撤走，只要日軍不在那里駐扎，則無須流一滴血，可日軍拒絕了這個提議。張群被蔣介石派到東京后幾個小時，濟南事件就發(fā)生了。5月4日，張群往訪日參謀本部第二部部長松井石根中將、外務(wù)省次官出淵勝次和軍部伊藤安之助少將等。結(jié)果，乞和未成，日軍方依然叫囂以戰(zhàn)爭手段摧毀北伐軍；次日，張群徑訪田中義一首相，要求日本政府不要再擴大事態(tài)，希望通過外交途徑，經(jīng)和平方式解決濟案。   但田中拒不接受，且日本政府已于張群往訪田中的當(dāng)天，決定增兵山東了。

在濟南，到了4日下午，日軍司令的態(tài)度忽然轉(zhuǎn)變，福田派了一個高級參謀來到蔣介石的司令部，又鞠起了躬：“昨天的事情，是部下沖突，發(fā)生了誤會，只要你蔣總司令不誤會，我們以后一定不再擴大沖突，一定可以設(shè)法調(diào)解。福田司令官對革命是很好的，而且很愿意幫助中國革命軍……”

蔣介石起身讓座：“雙方部下沖突，不算一回事……不使沖突擴大，我當(dāng)然十分贊成。今天只看你們?nèi)哲娛勘遣皇窃俜艠屌?、擲炸彈了，我愿以此來衡量你們?nèi)毡拒娪蟹裾\意?！?/p>

“那當(dāng)然不能再放槍炮了?！比哲妳⒅\走時做了保證。

可是就在這天夜里，濟南城外從西關(guān)到北關(guān)一帶，又響起了日本人的槍炮和炸彈聲。蔣介石氣得擂桌子，開始懷疑日軍是緩兵之計：一旦從日本本土調(diào)來增援部隊，想必就會一鼓作氣挑起決戰(zhàn)。于是，蔣介石于當(dāng)晚下令在城外的大部分軍隊渡過黃河北撤，以避免和日軍發(fā)生大規(guī)模沖突?？墒侨哲娙圆焕頃?日下午開始了更大規(guī)模的進(jìn)攻，飛機大炮輪番轟擊，使已經(jīng)和正在渡河的部隊死傷無數(shù)。晚上，日軍飛機轟炸濟南城，“能忍”的蔣介石再也忍不住了，外衣也來不及穿，就被侍衛(wèi)搬上了馬背，與黃郛等一口氣逃到黨家莊車站，同時命令蔣軍從濟南撤退到徐州、兗州、泰安，他的總司令部也遷到黨家莊。