在回山東的路上，龐三杰等人又劫掠了單縣的教民財(cái)產(chǎn)并燒毀了天主教薛孔樓洋學(xué)。在這過程中，龐三杰的人馬增加到上千人，在從碭山縣到單縣和豐縣的路上，他們燒毀了九十多家教民的房子，隨后又返回侯家莊并將那里的建筑付之一炬。

這時(shí)，江蘇的官員們終于按捺不住了，他們隨后調(diào)集了一支相當(dāng)規(guī)模的軍隊(duì)前來鎮(zhèn)壓。威脅之下，龐三杰隨后又向劉士瑞請(qǐng)求增援，后者派出了他的得力弟子彭桂林前去領(lǐng)導(dǎo)山東大刀會(huì)的成員。但是，龐三杰的隊(duì)伍因?yàn)閵A雜了太多原本不是大刀會(huì)的人而變得紀(jì)律失控，為了解決食物問題，龐三杰和彭桂林只能對(duì)這些人的劫掠行為睜一只眼閉一只眼?---不管是官軍還是賊軍，當(dāng)時(shí)打起仗來后勤問題總是一片混亂。

6月28日，龐三杰、彭桂林等人率大刀會(huì)圍攻單縣和碭山縣交界的馬良集，次日攻入后對(duì)集內(nèi)的鹽店、酒店、京貨鋪、雜貨鋪及江南裁缺外委衙門進(jìn)行了一番搶掠。這些人的舉動(dòng)激起了地方團(tuán)練的憤怒，當(dāng)時(shí)馬良集的寨主率領(lǐng)上千人與之對(duì)陣，并協(xié)助趕來的官兵一起進(jìn)攻，最終大刀會(huì)失利，在死傷了八九十人后，首領(lǐng)彭桂林和智效忠分別被擒被殺，龐三杰僥幸逃命，余眾則一哄而散。

龐三杰引發(fā)的事件被武力平息后，迫于德國(guó)和法國(guó)公使要求嚴(yán)懲兇手的壓力，山東巡撫李秉衡決定對(duì)大刀會(huì)進(jìn)行彈壓。為根除隱患，李秉衡向當(dāng)時(shí)已經(jīng)升任為山東按察使的毓賢及新任兗沂道錫良分別發(fā)布指令，要求將劉士端和曹得禮二人予以處決。李秉衡此舉，似乎是有意要撇清與大刀會(huì)的關(guān)系，以免有“包庇縱容例禁會(huì)匪”之嫌，而這兩位新任的官員，顯然也要對(duì)上司有所表示。

于是，這次的事件有了一個(gè)圓滿的解決，龐三杰在離開家鄉(xiāng)一段時(shí)間后，又返回了老家并逐步恢復(fù)了他的社會(huì)地位。令人稱奇的是，龐三杰隨后開始頻繁的參與教會(huì)活動(dòng)，在1897年秋天因“巨野教案”爆發(fā)而導(dǎo)致地方局勢(shì)不穩(wěn)的時(shí)候，龐三杰還曾親自前去保護(hù)耶穌會(huì)的江南主教通過這個(gè)教區(qū)。更有意思的是，龐三杰后來并沒有參與義和拳的任何活動(dòng)，他后來接觸到山東的革命黨人并投身于革命活動(dòng)，1936年國(guó)民政府還曾為他立碑。

從這個(gè)戲劇性的事件或許可以看出，當(dāng)?shù)孛癖妼?duì)教會(huì)并沒有絕對(duì)的仇恨而更多的是一種利益糾葛，而教會(huì)干涉詞訟并借以發(fā)展教民也是不爭(zhēng)的普遍事實(shí)。至少?gòu)男熘萁虆^(qū)來看，在龐氏家族皈依教會(huì)后，這個(gè)教區(qū)的教民在隨后的幾年中得到急劇的發(fā)展，1896年徐州教區(qū)入會(huì)人數(shù)只有3550人，1897年則達(dá)到10000人，而1898年是17000人，1899年甚至達(dá)到了26000人。