咸豐三年七月，湘鄉(xiāng)勇剛到南昌，駐扎得勝門(mén)外，遭到太平軍猛擊，減員至一千一百人，隨后劃分為中營(yíng)與右營(yíng)，已在前面敘過(guò)。李續(xù)賓因援助江西立下戰(zhàn)功，得旨以府經(jīng)歷補(bǔ)用。他得到的是一個(gè)正八品的官銜，比知縣小了一截，但比他買(mǎi)的那個(gè)從九品又強(qiáng)了不少。當(dāng)年十月，駱秉章將湘鄉(xiāng)勇從江西調(diào)回湖南剿匪，李續(xù)賓的部隊(duì)以大小十一仗將土匪肅清，隨后駐扎衡州。

值得注意的是，到此時(shí)為止，由李續(xù)賓創(chuàng)建、羅澤南統(tǒng)帶的湘軍，尚未納入曾國(guó)藩的指揮序列，而是由湖南巡撫供餉并調(diào)遣。駱秉章正式任命羅澤南為湘軍統(tǒng)領(lǐng)，任命李續(xù)賓為總營(yíng)務(wù)。羅的職務(wù)相當(dāng)于司令員，李的職務(wù)則可視為副司令兼參謀長(zhǎng)。兩人的月俸都是兩百兩銀子，并無(wú)高低之分。

咸豐四年（1854）的第一季度，曾國(guó)藩率領(lǐng)一萬(wàn)七千人的水陸大軍從衡州大舉北進(jìn)，他的麾下沒(méi)有羅澤南和李續(xù)賓的湘鄉(xiāng)勇。若將曾國(guó)藩此時(shí)的部隊(duì)號(hào)為湘軍，確實(shí)有些勉強(qiáng)，而且與羅李的湘軍重名。那時(shí)羅澤南駐扎衡州，李續(xù)賓率部去郴州與衡山攻打會(huì)黨，而曾國(guó)藩?jiǎng)t推進(jìn)到了岳州一帶。所以，王錱敗于羊樓司，曾國(guó)藩敗于岳州，損兵折將，喪失戰(zhàn)船，與羅李二人毫無(wú)關(guān)系。

其后，曾國(guó)藩發(fā)兵攻打湘潭，陸軍是塔齊布的部隊(duì)，羅李湘軍也未參與。曾國(guó)藩的戰(zhàn)船向下游攻擊靖港，被太平軍重創(chuàng)，羅李湘軍也無(wú)瓜葛，他們未能目睹曾國(guó)藩欲投江自盡的慘狀。如果說(shuō)李續(xù)賓跟湘潭之戰(zhàn)有什么關(guān)系，那是在彭玉麟率水師燒毀湘潭市肆以后，太平軍向北邊撤退，李續(xù)賓當(dāng)時(shí)駐扎在炭蕩，將民船全部收集起來(lái)，使太平軍無(wú)法渡江，只得逃往下游的靖港，然后撤向岳州。李續(xù)賓隨后駐軍長(zhǎng)沙，駱秉章為了獎(jiǎng)勵(lì)他們，給士卒增加月餉銀兩，每人六錢(qián)。李續(xù)賓與羅澤南提出每營(yíng)使用一百八十名長(zhǎng)夫，每天每人發(fā)銀一錢(qián)，駱秉章也同意照辦。

曾國(guó)藩在初次出征時(shí)過(guò)于重視水師的作用，陸師只用了塔齊布的五千人，未將羅李湘軍列入北進(jìn)序列，也許是一個(gè)極大的失誤；他在最初階段將水師與陸師分開(kāi)使用，就更是大錯(cuò)特錯(cuò)了。由此而導(dǎo)致的一系列失敗，促使曾國(guó)藩反省了自己的失誤，而且馬上著手糾正。

咸豐四年六月，太平軍第二次攻陷武漢，湘北隨之吃緊。曾國(guó)藩經(jīng)過(guò)休整，決定再次北征。這一次他把羅澤南和李續(xù)賓所部調(diào)入了自己的陸軍，令他們與塔齊布所部合攻岳州。從這時(shí)開(kāi)始，李續(xù)賓的建軍事業(yè)進(jìn)入了第四階段，其特征是進(jìn)入了曾大帥的編制，并且在湘軍的北進(jìn)東征中擔(dān)任陸軍先鋒，不斷壯大湘軍的實(shí)力。

羅李湘軍加入北進(jìn)序列后，陸軍勢(shì)如破竹，很快就把太平軍趕出了岳州。在隨后兩個(gè)月的戰(zhàn)斗中，湘軍右營(yíng)打出了威風(fēng)，太平軍一見(jiàn)李續(xù)賓的白色軍旗便會(huì)驚懼萬(wàn)分。李續(xù)賓戰(zhàn)功卓著，先后升為知縣、同知。

八月中旬，曾軍開(kāi)始進(jìn)攻武昌。曾國(guó)藩的僚佐提議不管武漢外圍的敵軍，只要一舉奪得武昌就行了。李續(xù)賓馬上反對(duì)，指出敵軍以勁旅據(jù)有城外險(xiǎn)要，城內(nèi)只留弱兵幾千，肯定是有意引誘官軍攻城。如果官軍驟然攻城，守軍必然棄城而逃。這時(shí)官軍會(huì)陷入兩難的境地：守城則被敵軍所困；如果不守，則武昌仍為敵軍所有。正確的辦法是立即攻破城外敵軍據(jù)點(diǎn)，那時(shí)武昌城將不攻自破。

曾國(guó)藩采納李續(xù)賓的意見(jiàn)，派羅李湘軍攻破最堅(jiān)強(qiáng)的城外敵壘。果然，武漢兩城敵軍自動(dòng)撤走。李續(xù)賓攻破堅(jiān)壘，制敵死命，咸豐皇帝特賜孔雀翎，將他以直隸州知州升用。

羅李湘軍雖然名義上是羅澤南任司令員，但羅司令將作戰(zhàn)的所有部署與指揮全部交給李續(xù)賓負(fù)責(zé)。曾國(guó)藩很清楚其中的內(nèi)幕，他在李續(xù)賓死后為之撰寫(xiě)的神道碑銘中有言:“其戰(zhàn)守機(jī)宜，胥公主之?！?/p>

曾軍攻占武漢后，李續(xù)賓就勸曾國(guó)藩立刻將陸軍增加到一萬(wàn)八千人，分為兩路，由塔齊布和羅澤南各領(lǐng)一路，從長(zhǎng)江南北兩岸乘勢(shì)東下，使太平軍沒(méi)有還手之力。曾國(guó)藩擔(dān)心沒(méi)有餉源，李續(xù)賓又勸他奏請(qǐng)朝廷派專(zhuān)人負(fù)責(zé)籌餉，一定要把軍力增強(qiáng)。

曾國(guó)藩沒(méi)有完全采納李續(xù)賓的提議，雖然他決定立即開(kāi)始東征，但沒(méi)有打算擴(kuò)增陸軍的兵力，因?yàn)橄孳娬诘脛?shì)之時(shí)，水師已被證明為壓制太平軍的利器，他看不出有什么必要大量增加陸軍。他把長(zhǎng)江北岸的攻擊任務(wù)交給了湖廣總督楊霈，令自己的陸軍沿長(zhǎng)江南岸推進(jìn)。他這種部署看似周密，實(shí)際上留下了很大的隱患。湘軍在獲得賴(lài)以一舉成名的田家鎮(zhèn)大捷以后，立即感到了北岸兵力空虛，拖了東征的后腿，因?yàn)闂铞墓佘姏](méi)有積極推進(jìn)。于是湘軍只好渡江去打北岸的太平軍，這樣就暴露出陸軍兵力嚴(yán)重缺乏的弊端。等到湘軍推進(jìn)到九江城外的時(shí)候，由于忽北忽南，兩線行軍作戰(zhàn)，陸軍已經(jīng)疲憊不堪，失去了銳氣。

曾國(guó)藩看出了李續(xù)賓早已指出的問(wèn)題，把胡林翼從湖北調(diào)來(lái)九江會(huì)師，增加兩千陸軍，但這點(diǎn)兵力還遠(yuǎn)遠(yuǎn)不夠。偏偏彭玉麟此時(shí)有欠冷靜，不肯稍事休兵，急不可耐地派水師機(jī)動(dòng)部隊(duì)攻打姑塘，結(jié)果水師小型船隊(duì)被太平軍關(guān)在鄱陽(yáng)湖內(nèi)，與長(zhǎng)江的大型戰(zhàn)船分隔，這就是胡林翼后來(lái)總結(jié)的“雪琴之躁”。太平軍夜攻湘軍大營(yíng)，燒毀曾國(guó)藩的坐船，曾國(guó)藩僥幸逃生，來(lái)到陸軍營(yíng)中。

幕僚劉蓉有心挽回?cái)【?，獻(xiàn)了一計(jì)，建議乘敵軍過(guò)年沒(méi)有防備，集中兵力攻打湖口，以解救陷入內(nèi)湖的水師，這就是胡林翼后來(lái)所謂的“霞仙之狂”。水師認(rèn)為陸軍中營(yíng)戰(zhàn)斗力太差，主張用右營(yíng)與塔齊布所部參戰(zhàn)。曾國(guó)藩輕信劉蓉，不知太平軍不過(guò)中國(guó)的傳統(tǒng)春節(jié)，批準(zhǔn)了這個(gè)方案。

陸軍將士已經(jīng)十分疲憊，不愿在過(guò)年時(shí)作戰(zhàn)，李續(xù)賓了解官兵的想法，提出反對(duì)意見(jiàn)。此事議了三天，曾國(guó)藩決定還是要戰(zhàn)，按照胡林翼后來(lái)的總結(jié)，此為“滌帥之誤”。

大帥做了決定，李續(xù)賓只好執(zhí)行。十二月二十八日晚間，他召集百夫長(zhǎng)開(kāi)會(huì)，發(fā)布戰(zhàn)斗動(dòng)員令。部隊(duì)于第二天渡到江北。大年三十傍晚，李續(xù)賓與塔齊布帶一千人開(kāi)往湖口，將士剛剛出營(yíng)，便有軍官揚(yáng)言：“老子正在燉雞煮飯，要休息一日，是誰(shuí)要敗老子的興致？老子今天要故意打個(gè)敗仗，讓他自取其辱!”于是領(lǐng)兵回走，李續(xù)賓與塔齊布禁之不止。太平軍一見(jiàn)清軍不戰(zhàn)自退，連忙派出大部隊(duì)來(lái)攻，把李續(xù)賓和塔齊布團(tuán)團(tuán)圍住。千鈞一發(fā)之際，坐騎從水面騰躍而過(guò)，將李續(xù)賓載出，才得脫險(xiǎn)。李續(xù)賓夜宿民舍，房子的主人全部逃走了，李續(xù)賓度過(guò)了一個(gè)孤寂無(wú)聲的除夕之夜，枯坐達(dá)旦。