西摩爾等人沒有想到的是，在他們熟睡的時(shí)候，倪贊清等人已經(jīng)通過傳貼召集附近的拳民，準(zhǔn)備打擊西摩爾聯(lián)軍---這是一次完全自發(fā)的抗洋活動(dòng)，與清廷沒有任何的關(guān)系。第二天（6月11日），大約有兩千多名拳民和西摩爾聯(lián)軍再次發(fā)生沖突，結(jié)果又有20多名拳民被打死，而西摩爾聯(lián)軍無人傷亡。但是，拳民們并沒有因?yàn)閾p失慘重而退縮，他們的人數(shù)反越來越多。

6月12日，西摩爾聯(lián)軍在修復(fù)鐵路后，留下30名英國水兵留守落垡車站，其他士兵繼續(xù)上路。在這天的下午，西摩爾聯(lián)軍到達(dá)了廊坊車站，這里距離北京大概還不到一百里。但是，在他們到達(dá)之前，倪贊清率領(lǐng)的義和拳已經(jīng)將廊坊前面的鐵路拆毀一空，枕木被燒毀，還搬來了很多大石頭攔在原鐵路上。西摩爾這才認(rèn)識(shí)到，繼續(xù)乘火車前進(jìn)的可能性已經(jīng)不大了。

無奈之下，西摩爾聯(lián)軍只能邊修邊走，進(jìn)軍的速度奇慢無比。不僅如此，在6月14日的下午，西摩爾聯(lián)軍再次遭到義和拳勇猛的沖擊，雖然他們用步槍和機(jī)槍打倒了一些拳民，但那些人毫不畏懼、視死如歸的精神氣質(zhì)讓洋兵感到震驚和恐懼。當(dāng)晚，義和拳再次趁夜發(fā)動(dòng)襲擊，5名站崗的意大利水兵因?yàn)樵谕媾贫欢绯伤閴K，這讓西摩爾聯(lián)軍感到驚恐，士氣開始變得低落了起來。

6月15日，西摩爾在聽說落垡一帶的鐵路再次遭到破壞后，便讓一隊(duì)德軍留守廊坊車站，隨后率部返回查看。西摩爾隨后看到的場(chǎng)景令他感到十分震驚，落垡到天津的鐵路和電報(bào)線已經(jīng)完全被義和拳拆毀，即使西摩爾聯(lián)軍想乘坐火車返回天津，這也已經(jīng)是不可能完成的任務(wù)了。由此，西摩爾聯(lián)軍不但失去了與北京公使們和天津方面的聯(lián)系，連他們自己也陷入了極大的困境：無論是繼續(xù)前往北京還是返回天津，看來他們都得放棄火車。但是，西摩爾聯(lián)軍大都是水兵出身，他們對(duì)下車作戰(zhàn)有著天然的恐懼。此時(shí)讓他們放棄火車幾乎就像放棄軍艦一樣困難，特別是在寬闊的華北平原上被螞蟻般聚集的義和拳民包圍時(shí)，他們的兩千多人幾乎是如此的微不足道。

6月16日，西摩爾接到北京的公使們派人送來的信函，他們?cè)诼裨孤?lián)軍進(jìn)軍的速度太慢的時(shí)候，還刻意強(qiáng)調(diào)了使館所處的危險(xiǎn)境界。在此情況下，西摩爾決定放棄乘火車進(jìn)軍北京的計(jì)劃而改沿白河繼續(xù)前進(jìn)---當(dāng)年的英法聯(lián)軍就是這么做的。于是，西摩爾率聯(lián)軍返回楊村車站，并收集船只準(zhǔn)備從白河北上。從某個(gè)意義上來說，西摩爾不肯放棄北上的其中一個(gè)重要原因是，清廷的正規(guī)軍并沒有參與對(duì)他們的進(jìn)攻。

但6月18日的事件改變了西摩爾的看法，因?yàn)楫?dāng)天駐守廊坊的德軍首次發(fā)現(xiàn)有清軍出現(xiàn)，這支清軍便是董福祥所部的甘軍。董福祥本受命在北京城外修筑工事準(zhǔn)備迎擊聯(lián)軍的，但等了好幾天也不見聯(lián)軍的蹤跡，于是董福祥便派分統(tǒng)姚旺出城巡查，并在義和拳的幫助下在廊坊找到了留守在廊坊車站的德軍。在姚旺的指揮下，義和拳首先向德軍發(fā)動(dòng)了攻擊---盡管效果不大而且傷亡慘重---隨后正規(guī)軍開始進(jìn)攻。

德軍很快便意識(shí)到這次攻擊非同以往，因?yàn)閷?duì)方的戰(zhàn)斗力和武器裝備明顯不同于之前的義和拳，后來好在一批英法水兵及時(shí)趕到，德軍的防線這才沒有被突破。盡管如此，這是聯(lián)軍首次遭到重大打擊，他們?cè)谶@次真正的戰(zhàn)斗中被打死10人，重傷50多人。當(dāng)然，清軍和義和拳的傷亡很可能是他們的十倍以上。

當(dāng)從廊坊回撤的德軍等載著聯(lián)軍士兵的尸體和重傷員返回楊村的時(shí)候，西摩爾終于意識(shí)到，進(jìn)軍北京已經(jīng)不可能。他們當(dāng)時(shí)能考慮的，只能是祈盼上帝能讓他們安全的返回天津。但是，這個(gè)任務(wù)也并非是輕而易舉就能完成的。