得到曾國藩的允準，李鴻章大喜，立即催常勝軍盡快開出，他說最好上午接信，下午就上船出發(fā)，“惟盼風利不泊，直下石頭城，以為快慰”。他又致函吳煦：“常勝軍調(diào)援金陵之說，中外皆知，即使英美領(lǐng)事意存阻撓，無論輪船多少，人數(shù)增減，必須成行，愈速則愈密，愈密則愈妙?！?迫不及待之情，表露無遺。

但這時金陵外圍的戰(zhàn)況，已發(fā)生變化。曾國荃在水師的支援下，堅守了四十六天，沒有崩潰。十月初五清晨，湘軍反攻，迫使太平軍撤圍。曾國藩奏報：“自辰至巳，掃平賊壘數(shù)十座，擒賊近四百人，斃殿后悍賊七千人……時閱四十六日，以寡御眾，出死入生，卒能挽回危機，保全大局?！?曾國藩又馬上寫信給李鴻章說：“金陵極危險之時已早過……白齊文之軍既未啟行，即可竟作罷論?！彼吕铠櫿逻€不死心，幾天后又寫信說：

常勝軍不來金陵亦自無害，來亦未必果有裨益。九洑洲、下關(guān)各賊壘似非輪舟炸炮所能遽破，鄙嘗疑用兵之道在人而不在器，忠逆之攻金陵官營，亦有炸炮，亦雇洋人在內(nèi)，官軍不因此而震駭，舍弟亦還以炸炮御之，彼亦不因此而動……鄙意求勝于洋，在中國官不要錢，兵不兒戲，不僅在稅餉之盈絀，尤不在體制之崇卑。

曾國藩又在老調(diào)重彈，從常勝軍去不去金陵，扯到洋人武器沒什么了不起、中國體制并不輸于洋人之類的宏大議題，李鴻章接信亦只能唯唯而已。但這時白齊文已整裝待發(fā)。作為雇傭軍，必須打仗才有錢收，所以白齊文借出兵為由，纏著吳煦、楊坊要錢，逼楊坊立即發(fā)還拖欠的軍餉。

十一月十四日，白齊文率領(lǐng)一伙常勝軍，擅自關(guān)閉了松江城門，準備強行劫取餉銀，鬧得城里雞飛狗跳。知府方傳書、參將李恒嵩趕來，好言相勸，承諾發(fā)還欠餉，白齊文還是不依不饒，揎拳捋袖，恨聲不絕。翌日，他竟帶著數(shù)十名官兵，到上海興師問罪，氣勢洶洶直闖楊坊家中，把楊坊痛毆一頓，打得楊坊鼻梁折斷、吐血不止，隨后搶走了洋銀四萬余元。

李鴻章正愁常勝軍赴金陵一事泡湯，不知如何把白齊文送出門，沒想到白齊文自己倒持泰阿，把理由送上來了，李鴻章正好把他解決，并順帶把吳煦也端掉。他一邊奏請朝廷撤了白齊文的職，并懸賞五萬兩通緝；一邊向曾國藩報告：“吳道適自鎮(zhèn)江回，求鴻章斥革白齊文，商請英國士提督（士迪佛立）出頭彈壓。常勝軍弁目百數(shù)十人均系外國流氓，畏英國之威，英兵官四人在該營幫同教練，已與士提督商議定，中外各派一員接管（已派李恒嵩會同英員），糧餉調(diào)發(fā)由中國官員主持。該勇如再獷悍，應酌量裁遣。”

李鴻章又寫信給吳煦：“英法與我會防，乃任流氓美人猖獗至此，閣下與憩堂（楊坊）必須設(shè)法挽回，若釀成重案，不獨吾兄等無詞自解，即外國帶兵各官面上皆不好看也?！?這封信，為追究吳煦、楊坊責任，埋下伏筆。

十一月十八日，李鴻章向朝廷參奏吳煦、楊坊二人：“至二品頂戴、蘇松太道吳煦，二品頂戴、前蘇松糧道楊坊，本愿帶常勝軍赴援金陵，屢次延誤，實由白齊文不遵調(diào)遣，楊坊并被白齊文毆傷，尚非縱容逗留。然該道等創(chuàng)募此軍，及換人接帶，始終主謀，又有督帶之責，不能實力制，辦理不善，咎亦難辭。應請旨將吳煦、楊坊暫行革職，仍令妥籌接辦事宜，以觀后效?！?朝廷準奏。吳煦、楊坊的仕途，至此“行人止步”。

李鴻章旋向士迪佛立提出交涉，常勝軍應由中國人會同管帶。士迪佛立初不愿意，雙方反復爭辯，乃至舌敝唇焦，最后簽訂了“統(tǒng)帶常勝軍協(xié)議十六條”。規(guī)定常勝軍暫以奧倫為管帶，李恒嵩會同管帶；裁至三千人，削減雜項開支及長夫額數(shù)；不得私購軍火；懲辦士兵由中方做主；松江地方事務外國人不得干涉；將來征得英國政府同意后，改由戈登統(tǒng)帶。