衢州雖然安全了，但以后的形勢(shì)依然十分嚴(yán)峻，面對(duì)數(shù)十萬(wàn)之眾的太平軍，左宗棠兵力實(shí)在單薄，而清廷分?jǐn)偢魇〉能婐A，絕大部分又只是一張空頭支票，根本無(wú)法落實(shí)，盡管左宗棠后來(lái)最大限度地?cái)U(kuò)充浙軍，也只能達(dá)到三四萬(wàn)人，遠(yuǎn)遜于曾、李所部的兵力，而這種擴(kuò)軍，已經(jīng)拖欠浙軍大量的軍餉。

即便如此，也不能將這三萬(wàn)余人全部投入浙江戰(zhàn)場(chǎng)。浙軍攻克嚴(yán)州、富陽(yáng)之后，本來(lái)可以較順利地一鼓作氣，乘勝攻克杭州，但此時(shí)安徽方面的太平軍先后攻克皖南諸多城鎮(zhèn)，浙軍只能按照曾國(guó)藩的命令，抽調(diào)劉典、王文瑞一萬(wàn)多人馬前往增援，經(jīng)過(guò)數(shù)月苦戰(zhàn)，將那里的太平軍擊退。

此時(shí)，曾國(guó)藩要求這一萬(wàn)多浙軍繼續(xù)深入皖南，長(zhǎng)期在安徽境內(nèi)和曾軍進(jìn)行會(huì)剿，這一次，左宗棠拒絕了曾國(guó)藩的命令，他只留下由王開(kāi)琳率領(lǐng)的3 300人駐守徽州屯溪鎮(zhèn)，將其余8 000人全部撤回浙江。事后證明，左宗棠這一決定是非常正確的。

此時(shí)，浙軍已經(jīng)開(kāi)始進(jìn)攻杭州，可是離杭州六十里的余杭也駐有太平軍重兵，如果單攻杭州，余杭的敵軍必然會(huì)進(jìn)行支援，將會(huì)使攻城部隊(duì)腹背受敵，處于十分危險(xiǎn)的境地，因此，必須在攻打杭州的同時(shí)，也攻打余杭。這樣，就只好將兩萬(wàn)余人分開(kāi)，同時(shí)對(duì)杭、余兩城發(fā)動(dòng)進(jìn)攻。本來(lái)就嚴(yán)重兵力不足，一分為二之后，就更顯單薄了。此時(shí)，離杭、余二城不遠(yuǎn)的湖州，聚集著大批太平軍，一旦他們趕來(lái)增援，攻城浙軍將面臨險(xiǎn)境，因此，調(diào)回8 000人阻擊援兵，顯然十分必要。

李世賢因急于擺脫左宗棠糾纏，以回援天京，于六月中旬以攻為守，調(diào)大軍分兩路直取遂安，奔襲左軍后路。于是左宗棠調(diào)劉典等九營(yíng)4 000人回援。六月二十日，劉典等部與太平軍戰(zhàn)于遂安東南。二十七日（7月18日），李世賢退回金華，將兵力集中于金華、蘭溪、龍游、武義一線，作堅(jiān)守打算。左宗棠統(tǒng)兵進(jìn)入浙江以來(lái)，由于太平軍將士的英勇奮戰(zhàn)，使其進(jìn)展相當(dāng)緩慢，入浙八個(gè)月始終未能越過(guò)衢州一線。直至同治元年八月上旬，新任浙江布政使蔣益澧率廣西左江鎮(zhèn)總兵高連升、副將熊建益的湘軍8 000人從廣西經(jīng)湖南開(kāi)抵衢州，戰(zhàn)局才開(kāi)始發(fā)生變化。七月，清軍攻陷處州府，閏八月十三日（10月6日），蔣部高連升一軍攻陷嚴(yán)州府壽昌。李世賢見(jiàn)一時(shí)無(wú)法擊潰左宗棠的進(jìn)攻，只好派將分兵扼守金華、湯溪、龍游一帶，阻截清軍東進(jìn)。他自己則于是年閏八月（1862年10月上旬）奉洪秀全之命，率精兵7萬(wàn)多人馳救天京。此時(shí)，浙江太平軍力量頓時(shí)薄弱。重點(diǎn)設(shè)防的龍游、湯溪等城，真正能作戰(zhàn)的留防士兵不過(guò)數(shù)千人。群龍無(wú)首，自然會(huì)亂成一團(tuán)，部隊(duì)統(tǒng)帥不在，留浙各支太平軍沒(méi)有統(tǒng)一的指揮，士氣下降了很多，甚至有些將領(lǐng)選擇了投敵變節(jié)。而這一切，對(duì)左宗棠來(lái)說(shuō)，都是非常好的機(jī)會(huì)。此后，不到半年時(shí)間，清軍相繼攻陷湯溪、龍游、蘭溪、金華、武義、永康、東陽(yáng)、義烏、浦江、諸暨等地，特別是攻下了嚴(yán)州西北的軍事要地桐廬。桐廬位于浙江中游，自桐廬七里瀧徑下地勢(shì)漸平，江面漸闊。由于桐廬失守，太平軍在杭州上游的重地只有富陽(yáng)（屬杭州府）一城了，浙西防線因而全部潰垮。為指揮各軍沿江直取杭州，左宗棠于同治二年正月下旬（1853年3月中旬），將大本營(yíng)從金華移至嚴(yán)州府治（在浙江上游），派蔣益澧逼攻杭州。

在浙東方面，英法侵略聯(lián)軍于同治元年四月十二日（5月10日）悍然進(jìn)攻寧波的太平軍。當(dāng)時(shí)英國(guó)有戰(zhàn)艦4艘，水兵330人，由“爭(zhēng)勝”號(hào)艦長(zhǎng)刁樂(lè)克統(tǒng)帶；法艦兩艘，水兵70余人，由“伊臺(tái)”號(hào)艦長(zhǎng)耿尼統(tǒng)率。