李鴻章出任兩淮鹽運(yùn)使的美夢(mèng)沒(méi)有實(shí)現(xiàn)，太平軍為了挽救安慶，他們對(duì)上游的湘軍發(fā)動(dòng)了聲勢(shì)浩大的鉗形攻勢(shì)，分兵南北兩路，沿江西上，“合取湖北”，準(zhǔn)備在武漢會(huì)師。這次攻勢(shì)確實(shí)打中了曾國(guó)藩的要害。因?yàn)楫?dāng)時(shí)在安慶及其周?chē)貐^(qū)集結(jié)了曾國(guó)藩的湘軍主力，以武漢為中心的湖北防務(wù)非?？仗?。然而湖北卻是湘軍的戰(zhàn)略基地，武漢尤為全局根本。太平軍“合取湖北”，把戰(zhàn)火引向敵人后方，避敵主力，打其虛弱，攻其必救，既可解安慶之圍，又能殲滅湘軍主力。太平軍的這一策略讓曾國(guó)藩膽戰(zhàn)心驚，他立即采取應(yīng)變之策，決意不撤皖圍之兵以援鄂，反而督軍猛攻安慶，企圖迫使太平軍盡快地從上游回顧下游，并進(jìn)行決戰(zhàn)。他把所謂旋轉(zhuǎn)乾坤的賭注，全押在安慶圍點(diǎn)打援上面了。南路西征太平軍路經(jīng)皖南時(shí)，曾經(jīng)攻占寧國(guó)、徽州等地，并“環(huán)繞祁門(mén)作大圍包抄之勢(shì)”，致使坐困祁門(mén)的曾國(guó)藩“日在驚濤駭浪之中”。

這時(shí)曾國(guó)藩除了招致太平軍的環(huán)攻外，還遇到北上“勤王”和祁門(mén)內(nèi)訌兩個(gè)棘手的問(wèn)題。1856年，英法聯(lián)軍發(fā)動(dòng)侵華戰(zhàn)爭(zhēng)，即第二次鴉片戰(zhàn)爭(zhēng)。1860年9月，英法聯(lián)軍攻占天津，直逼北京城下。咸豐皇帝在逃往熱河途中命孤駐祁門(mén)的曾國(guó)藩派湘軍精銳鮑超部北上救援。接到命令后，曾國(guó)藩左右為難，舉棋不定。因?yàn)楸鄙稀扒谕酢必?zé)無(wú)旁貸，無(wú)可推諉，但他又想留下鮑超所部對(duì)抗太平軍；如不北上護(hù)主，將被責(zé)為天下罪人。但此時(shí)正是剿殺太平軍的關(guān)鍵時(shí)刻，一旦抽掉精銳，于戰(zhàn)局大有影響，而且這時(shí)正值徽州失守、祁門(mén)危急之時(shí)。曾國(guó)藩急得幾個(gè)晚上不能入眠，于是令下屬每人提一種方案，結(jié)果幾乎都主張北上“勤王”，但只有李鴻章力排眾議，不同意調(diào)兵北上。李鴻章認(rèn)為英法聯(lián)軍已在北京城下，破城而入只是朝夕之事，調(diào)兵北上保衛(wèi)京城已毫無(wú)意義；而且英法聯(lián)軍侵略最終將“金帛議和”了事，危及大清社稷的不是英法聯(lián)軍，而是造反的太平軍。

李鴻章比清政府更早看出這一點(diǎn)，眼光確非尋常。他進(jìn)一步論述湘軍鎮(zhèn)壓太平軍是關(guān)系“天下安?！敝?，對(duì)北上馳援應(yīng)“按兵請(qǐng)旨”，靜觀局勢(shì)變化。經(jīng)過(guò)仔細(xì)權(quán)衡，曾認(rèn)為李說(shuō)的確有道理，于是采用此議。他上疏朝廷表示愿意北上，但提出鮑超人生地不熟“斷不能至”，所以請(qǐng)朝廷在胡林翼和自己之間“酌派一人進(jìn)京護(hù)衛(wèi)根本”，其實(shí)是在拖延時(shí)間，因?yàn)橥底鄨?bào)大約需要一個(gè)月的時(shí)間。果然不出所料，不久就接到“和議”已成，不必北援的命令。此事使曾國(guó)藩對(duì)李鴻章更加器重。李鴻章對(duì)曾國(guó)藩雖以師相待，但他畢竟是極有主見(jiàn)之人，經(jīng)常因固執(zhí)己見(jiàn)而時(shí)有沖突，李鴻章有幾次想離曾國(guó)藩而去。1860年，曾國(guó)藩升任兩江總督，并決定將大營(yíng)遷往安徽祁門(mén)時(shí)，李鴻章認(rèn)為祁門(mén)地勢(shì)如同“釜底”，沒(méi)有進(jìn)退余地，從戰(zhàn)略上看，移營(yíng)至此十分危險(xiǎn)。在太平軍攻擊下，的確險(xiǎn)情不斷，李鴻章等人一再要求移師他處。而曾國(guó)藩堅(jiān)持己見(jiàn)，甚至對(duì)李鴻章等人說(shuō)：“諸君如膽怯，可各散去”。

不久，雙方又因李元度事件矛盾再起，更加尖銳，終導(dǎo)致李鴻章負(fù)氣出走。李元度（字次青）是曾國(guó)藩“辛苦久從之將”，曾國(guó)藩在靖港、九江和樟樹(shù)鎮(zhèn)敗績(jī)后的艱難歲月中，曾經(jīng)得到李元度的有力支持。曾國(guó)藩自稱(chēng)與李元度的“情誼之厚始終不渝”。李元度擅長(zhǎng)文學(xué)而不知兵，只因曾國(guó)藩私情薦舉，才升任徽寧池太廣道，領(lǐng)兵駐防徽州。當(dāng)太平軍李侍賢部來(lái)攻時(shí)，李元度違反曾國(guó)藩堅(jiān)壁自守的指令，出城接仗，一觸即潰，徽州易手。李元度徘徊浙贛邊境，經(jīng)久不歸，后來(lái)雖然回到祁門(mén)，但不久又私自離去。曾國(guó)藩悔恨交加，決定具疏劾之，以申軍紀(jì)。曾國(guó)藩此舉本來(lái)無(wú)可厚非，但文武參佐卻群起反對(duì)，指責(zé)他忘恩負(fù)義。李鴻章“乃率一幕人往爭(zhēng)”，聲稱(chēng)“果必奏劾，門(mén)生不敢擬稿。”曾國(guó)藩說(shuō)：“我自屬稿”。李鴻章表示：“若此則門(mén)生亦將告辭，不能留侍矣。”曾國(guó)藩生氣地說(shuō)：“聽(tīng)君之便”。10月25日，曾國(guó)藩在日記中寫(xiě)道：“日內(nèi)因徽州之?dāng)?，深?lèi)捍吻啵忠?jiàn)同人多不明大義，不達(dá)事理，抑郁不平，遂不能作一事?！睆脑鴩?guó)藩手書(shū)日記原稿看，曾國(guó)藩在“而”與“又見(jiàn)”之間圈掉“少荃”二字，他的原意可能要寫(xiě)“少荃不明大義，不達(dá)事理”。其實(shí)，曾國(guó)藩對(duì)李鴻章的批評(píng)是切中要害的。李鴻章鑒于自己意見(jiàn)被拒和祁門(mén)奇險(xiǎn)萬(wàn)狀形勢(shì)，便憤然辭幕，離開(kāi)祁門(mén)，打算返回南昌哥哥家中。