公元313年，祖逖從跟隨他來到鎮(zhèn)江的難民中，精選了100人，在鎮(zhèn)江誓師后，隨即宣布北伐。他的這種行為，在當(dāng)時(shí)人看來簡(jiǎn)直是癡人說夢(mèng)，幾乎每個(gè)人都認(rèn)定，他這是送死去了。

祖逖并不這么想，他不但要去，而且要?jiǎng)倮?，在出征之前，有一幕?chǎng)景永遠(yuǎn)留在了歷史上：在公元313年八月渡江北上，船只行到長(zhǎng)江中流的時(shí)候，祖逖突然悲憤異常，拼命敲打著劃船的槳，仰天長(zhǎng)嘯：我祖逖如果不能收復(fù)河山，就讓我葬身在這滔滔江水中吧。身邊的部將目睹此情此景，無不感奮。這一幕難忘的場(chǎng)景，就是后來無數(shù)英雄心向往之的“擊楫中流”。

事實(shí)證明，這一幕不是祖逖在做秀，而是他心中真真切切的理想。

祖逖渡江之后，在淮陰一帶駐軍。這時(shí)候的淮陰，是當(dāng)時(shí)的“三不管”地區(qū)，北方各政權(quán)還沒有擴(kuò)張到這里，東晉也沒有建立統(tǒng)治，正好可以幫助祖逖整頓軍隊(duì)。祖逖采取“屯田”戰(zhàn)略，他帶來的士兵，在這里設(shè)立工事，打造兵器。這時(shí)候的他，可以說是一窮二白，司馬睿給的那點(diǎn)錢糧很快用完了，所有的事情都需要自力更生。之后的3年里，祖逖在當(dāng)?shù)卣咀×四_，不但有了大片良田，軍隊(duì)也擴(kuò)展到2000多人。此時(shí)，北方的少數(shù)民族政權(quán)，經(jīng)常來這里騷擾，在無數(shù)次小規(guī)模的交戰(zhàn)里，祖逖率領(lǐng)部下打敗了敵人，也一點(diǎn)一滴的，積累著徹底戰(zhàn)勝他們的信心。

淮陰以北的中國(guó)北方，這時(shí)期的形勢(shì)格外復(fù)雜。這時(shí)候中國(guó)北方的主要政權(quán)，包括匈奴人劉聰、劉卓盤踞的河?xùn)|、關(guān)中地區(qū)，羯族人石勒占有的太行山以東的河北、山西、山東地區(qū)，不但有各種少數(shù)民族政權(quán)，還有北方漢族地主建立的“塢堡”。所謂塢堡，就是當(dāng)時(shí)留在北方的地主豪強(qiáng)們，自己修筑堡壘，編練軍隊(duì)，招募流民，用以自保，這些塢堡是那時(shí)候掙扎在北方的老百姓的避難所。塢堡要想生存，僅僅憑借軍事力量是不行的，有時(shí)候也需要游走在各個(gè)政權(quán)之間，甚至向北方的少數(shù)民族政權(quán)納貢稱臣。當(dāng)時(shí)的中國(guó)北方，塢堡的成分非常復(fù)雜，有向東晉王朝效忠的，也有投奔北方少數(shù)民族政權(quán)的，有的塢堡，甚至為虎作倀，甘當(dāng)敵人騷擾的急先鋒。而且即使在國(guó)破山河在的情景下，這些塢堡也經(jīng)常窩里斗，時(shí)常為了一點(diǎn)地盤發(fā)生戰(zhàn)爭(zhēng)。這時(shí)期的中國(guó)北方，可以說你中有我，我中有你，亂成了一鍋粥。

富有軍事經(jīng)驗(yàn)的祖逖，很快從這一片亂象中，找到了制勝之道，如果要完成收復(fù)北方國(guó)土的大業(yè)，塢堡，是必須爭(zhēng)取的對(duì)象。

祖逖開始動(dòng)手了，他在對(duì)待塢堡的政策上，很注意具體問題具體分析。以懷柔為主，勸說那些塢堡的主人向東晉效忠，對(duì)賣身投靠敵人的，就堅(jiān)決打擊。起初北方塢堡的主人們，大多對(duì)祖逖持懷疑態(tài)度，祖逖推心置腹，曾經(jīng)不顧個(gè)人危險(xiǎn)深入塢堡，策反原本效忠于羯族石勒政權(quán)的塢堡堡主們。他成功爭(zhēng)取了開封的塢堡堡主陳川，并且聯(lián)合陳川消滅了一直為虎作倀、幫助石勒欺壓各塢堡的安徽永城堡主張平。這件事對(duì)整個(gè)北方的塢堡來說，極具震撼，這些塢堡主人們也明白了祖逖的態(tài)度：愿意抗敵的，我們就是戰(zhàn)友，賣身投靠的，就是我祖逖的死仇。從那以后，越來越多的塢堡堡主開始投奔祖逖。這種情況，雄踞北方的石勒當(dāng)然不能坐視，他先派自己的大將石虎攻打祖逖。公元319年，雙方在豫州交手，當(dāng)時(shí)的石虎有5萬多人，祖逖只有幾千人，力量懸殊之下，原本一直是祖逖盟友的陳川竟然臨陣倒戈，投降了石虎，寡不敵眾的祖逖，因此敗退壽春。這之后，石虎多次攻打壽春，都被祖逖擊退。無法回去交差的石虎，掉過頭來向剛剛當(dāng)了叛徒的陳川進(jìn)攻，把陳川的5000多人擄掠到北方去，冒充祖逖的俘虜來表功。不明真相的石勒，因此對(duì)石虎大加褒獎(jiǎng)。石虎的這次糊弄，很快就得到了報(bào)應(yīng)。第2年，祖逖發(fā)動(dòng)反擊，打敗了石虎的部將桃豹，收復(fù)河南封丘、雍丘等地區(qū)。因?yàn)檫@場(chǎng)戰(zhàn)爭(zhēng)的勝利，祖逖繳獲了桃豹軍隊(duì)的大批戰(zhàn)馬，從此，他也擁有了一支精銳的騎兵。

祖逖的卷土重來，讓石勒叫苦連天，他只好再次派兵征討，但這時(shí)候的祖逖，已經(jīng)不是昔日吳下阿蒙了。雍丘之戰(zhàn)里，祖逖以少勝多，僅用1000多騎兵，就打敗了石勒的數(shù)萬精騎。他不靠硬拼，而是趁石勒全軍突擊的時(shí)候，突然派輕騎兵從他的背后發(fā)動(dòng)了進(jìn)攻。石勒這才發(fā)現(xiàn)，當(dāng)自己忙于在北方擴(kuò)張時(shí)，這個(gè)起先拿著東晉王朝空頭支票的祖逖，已經(jīng)一步一個(gè)腳印擴(kuò)張到自己眼皮底下來了。雍州之戰(zhàn)失敗后，祖逖和石勒又打成了相持，因?yàn)橛辛岁惔ǖ那败囍b，當(dāng)?shù)氐膲]堡紛紛和祖逖合作，祖逖也利用他們來搜集有關(guān)石勒的情報(bào)，因此每一次戰(zhàn)斗，他都能做到知己知彼。這個(gè)時(shí)期，他的騎兵部隊(duì)已經(jīng)成熟，經(jīng)常派兵進(jìn)入石勒的轄區(qū)，騷擾他的部隊(duì)，雙方就這樣在河南展開了拉鋸戰(zhàn)。值得一提的是，雖然和石勒是“敵國(guó)”，但對(duì)待石勒的部將，尤其是俘虜，祖逖采取了開明的政策。那時(shí)期，石勒轄區(qū)內(nèi)的軍隊(duì)，經(jīng)常發(fā)生集體投奔祖逖的事情，甚至有的俘虜被祖逖放回后，立刻帶著自己麾下的士兵來投奔。在千難萬難的條件下，收復(fù)中原的堅(jiān)定信念讓祖逖像一塊紅紅的烙鐵，在那個(gè)年代，把他身邊所有的人都燒熱了。

經(jīng)過兩年艱苦作戰(zhàn)，到了公元321年，祖逖終于掃清了整個(gè)黃河以南的北方地區(qū)，作為北方政治經(jīng)濟(jì)重鎮(zhèn)的河南省，此時(shí)已經(jīng)全數(shù)被祖逖收復(fù)。東晉與北方政權(quán)的分界線，也從長(zhǎng)江變成了黃河。在一無援助二無軍隊(duì)的情況下，祖逖憑借著自己的力量和北方百姓的支持，一步一個(gè)腳印，實(shí)現(xiàn)著他收復(fù)北方的夢(mèng)想。河南光復(fù)后，祖逖在當(dāng)?shù)匕l(fā)展生產(chǎn)，祭祀死難者，常年遭到戰(zhàn)爭(zhēng)破壞的河南省，此時(shí)開始漸漸恢復(fù)往日的繁榮。因此，在河南百姓的心目中，祖逖有著崇高的聲望，許多人都視他為父母。

如果老天能夠給祖逖更多的時(shí)間，相信他完全有機(jī)會(huì)完成他的理想。當(dāng)時(shí)的局面，北方戰(zhàn)亂不斷，各個(gè)少數(shù)民族政權(quán)新建，更因?yàn)槠湓缙跉埍┑钠茐?，引起了北方百姓的群起反抗。這樣的情景下，正是北伐最好的機(jī)會(huì)。但這時(shí)候的司馬東晉政權(quán)，對(duì)祖逖并不支持，相反在經(jīng)過早期“王與馬共天下”的局面后，東晉司馬政權(quán)與江南士族王家的矛盾凸顯。就在祖逖憑借自己的力量不斷進(jìn)取北方的時(shí)候，司馬睿也在調(diào)兵遣將，名義上是為了支援祖逖，其實(shí)卻是為了討伐功高震主的王家士族領(lǐng)袖王敦。這場(chǎng)內(nèi)耗引發(fā)了祖逖的憂慮，他經(jīng)常憂心忡忡地對(duì)部下說：國(guó)家內(nèi)耗，很可能會(huì)讓北伐功虧一簣。而祖逖也被司馬睿猜忌，祖逖收復(fù)河南后，司馬睿第一反應(yīng)，就是任命親信戴淵為征西將軍，接管河南的部隊(duì)，其實(shí)就是為了制約祖逖。這種事情放在別人身上倒也罷了，偏偏祖逖性格剛烈，自然受不了這個(gè)氣，加上日夜操勞，他的身體狀況急轉(zhuǎn)直下，強(qiáng)撐到公元321年九月，這個(gè)志在光復(fù)山河的英雄，閉上了疲勞的眼睛，結(jié)束了壯志未酬的一生。