歸來營中，李世民望著尉遲敬德，感嘆地說：“剛才眾人還說你會叛變，我沒有相信，力排眾議，將公保了下來，真是天意！哎呀！我今天是虛驚一場，尉遲公真是勇猛無敵的忠義之士??！”說罷，用力拍了拍敬德的肩膀，并下令重重有賞。

從此之后，尉遲敬德一直追隨在李世民身邊，幾次在危急時刻救了李世民的性命，更立下了赫赫戰(zhàn)功。而李世民也十分器重敬德，將他列為凌煙閣二十四功臣中武將之首。

成功的經(jīng)驗使李世民十分看重這批山東豪杰的力量，而失敗的教訓更是讓他記憶深刻。

武德四年（621），李世民自虎牢（今河南滎陽）渡河，一舉擊潰竇建德。而正等待竇建德救援的王世充也不得不被迫投降，獻出東都洛陽。唐朝得以平定最大的兩個對立力量，控制山東、河北，統(tǒng)一大業(yè)指日可待。

竇建德也屬于山東豪杰的其中一支力量，在關東地區(qū)有很大的影響。但是與瓦崗軍中走來的那一批山東豪杰相比，竇建德一方?jīng)]有與關隴集團合作的背景，所以一直是李唐王朝的勁敵。當時竇建德雖然一戰(zhàn)負于李世民，可是主要力量還在，之所以會投降，很大一部分原因是當時暴隋已亡，人心思定，手下將士都不想再過打打殺殺的日子了。這種時候，如果唐廷能夠采取恰當?shù)恼?，安撫山東一帶，形勢是可以很快穩(wěn)定下來的。

但是唐朝在這一地區(qū)重建地方政權的時候，卻走上了錯誤的道路。李淵當時派鄭善果和崔民去安撫山東。而崔、盧、李、鄭都是山東的高門士族，一來已經(jīng)漸漸衰落，不了解山東的形勢；二來在戰(zhàn)爭中受到山東豪杰的打擊，對他們懷有深刻的仇恨，所以對竇建德集團的原有力量采取了殘酷鎮(zhèn)壓的方式。這樣一來，沒有幾天，竇建德的部下劉黑闥就重新起兵反叛了，山東又是大亂，各地紛紛起來響應。

劉黑闥是貝州漳南（今河北故城東）人，與竇建德同鄉(xiāng)。史書記載，他天生就不安分，“無賴，嗜酒，好博弈，不治產(chǎn)業(yè)”。與竇建德很有交情，生活困難時得到過竇建德的幫助。隋末動亂中，加入到當?shù)氐囊恢г旆吹年犖橹?。后來歸于李密。李密被王世充打敗以后，劉黑闥被王世充留用為騎將。不久叛王世充，投奔竇建德。竇建德兵敗被殺，唐朝嚴懲竇氏故將，引起竇氏遺存勢力的憤慨、河北人民的不滿。武德四年（621）七月，劉黑闥、高雅賢等竇氏故將統(tǒng)竇氏余眾再起。這支再起的力量竟勢如破竹，一路攻城略地。不到半年，就完全恢復了竇建德故地。原來歸附了唐朝的隋末割據(jù)力量之一、兗州（今山東兗州）人徐圓朗，也在今山東南部和河南東部等地響應劉黑闥，叛唐而起。整個河北山東之地，再次陷入到農(nóng)民造反的汪洋大海之中。

原來竇建德所統(tǒng)之兵，由隋末河北諸武裝力量如孫安祖、高士達、張金稱及魏刀兒等部眾共同構成。這些兵士在山東群雄中，最為驍勇善戰(zhàn)，而且大都為北朝以來民族融合過程中形成的胡化漢人或漢化胡人。他們在政治上自成系統(tǒng)，與唐朝代表的關隴貴族集團格格不入。竇建德被俘后，由于其本人及部下都難于為唐朝所用，所以大都被殺。劉黑闥的再起，與此有關。

武德五年（622）正月，劉黑闥在相州（今河南安陽）自稱東漢王，改元天造。唐高祖派李世民、李元吉東來。李世民至獲嘉（今河南獲嘉），劉黑闥放棄相州，退保州（今河北邯鄲東北）。在水一帶，劉黑闥與李世民互有攻守，幾次反復。

三月，劉黑闥又向唐軍多次挑戰(zhàn)，李世民堅壁不出，但暗中卻派兵斷絕劉黑闥的糧道。誠所謂用兵則糧草先行，糧草對于用兵至關重要。

相持六十多天，劉黑闥軍糧缺乏，急于決戰(zhàn)，于是襲擊李世軍營。李世民得報，帶兵掩擊襲兵。之后，劉黑闥率軍南渡水與唐軍決戰(zhàn)。自午時戰(zhàn)至日落，劉黑闥自感勢不能支，竟棄軍逃離戰(zhàn)場，與范愿等二百騎逃奔突厥去了。李世民決水，水淹劉黑闥軍。

但這一次，唐軍只是單純在軍事上獲得勝利，并沒有真正解決河北問題。兩個月之后，劉黑闥又回山東。僅僅四個月時間，劉黑闥又一次盡復故地。