二十八歲那年，他跟一伙朋友聯(lián)手洗劫江都縣東鄉(xiāng)仙女廟。案發(fā)后潛回鎮(zhèn)江，躲到寶蓋山下，被丹徒縣主簿張煥文發(fā)現(xiàn)擒獲。后被縣衙懲辦，發(fā)配甘肅充軍。在押解途經(jīng)山東時，他瞅準機會，趁夜盜得驛站中駿馬逃脫?；貋砗?，他藏匿在私鹽販子陶龍雨家中。那時的他遠不像現(xiàn)在的徐寶山這樣神氣，整日東躲西藏，惶惶不可終日，從沒有按時吃過三餐飯，更是沒有睡過一夜安身覺，有時睡在土廟里，有時睡在麥田里，不管睡在哪，手上總要纏一支線香，到了香燃到手指時，就要趕快起來換個地方，以防被捕。有時甚至睡到死人棺材里，這樣可以多睡一會，但是很麻煩，要先把棺蓋撬開，進去后還要弄一塊大磚頭把棺蓋墊起來，才不至于悶氣。如此折騰，總算沒被抓住。熬了幾年之后，他投奔了鹽梟頭目孫七。

自從投了孫七，徐寶山才慢慢恢復了元氣。他是個不甘平庸的人，活著就要做點大事情，至少也能為孫七的山頭立個大功，一來是個進山之禮，二來也顯示一下“徐老虎”的本領。當時與孫七為敵的還有另一伙梟匪，以柏瓊為首領，勢力很大，孫七自覺不敵，只能處處避讓。但是徐寶山覺得就從柏瓊這里下手最為合適，因此開始等待時機。恰巧，這一日，他在路上與柏瓊的兩個兒子相遇，這兩個惡棍正在擄掠婦女，徐寶山上去教訓柏瓊二子，打斗中，柏匪三百余人聞訊趕來將徐寶山圍住。正在危難之時，孫七率眾趕到。已感不支準備敗走的徐寶山，陡然膽力倍增，再抖精神返身殺入敵陣，持利劍近身力斃柏氏二子。經(jīng)此一戰(zhàn)，“徐老虎”重新成為江湖中聲名遠播的人物。各地聞其聲名者紛紛來投，他第一次有了培植自己勢力的資本。

后來他干脆脫離孫七，另樹一幟，冒死搶了匪首朱福勝的地盤，占據(jù)十二圩和七濠口一帶，初步有了自己的隊伍和勢力范圍，并由此起家。在隊伍逐漸壯大后，他并沒有忘乎所以。他看出要與官軍和眾匪抗衡并要得到不斷發(fā)展，不能簡單地招兵買馬，兵要招好兵，馬要找駿馬。他深知自己部下全是一勇之夫，只見眼前小利，并無大志。且自己的手下，組織松散，更非大隊官軍敵手。他們農(nóng)忙時回家種田，農(nóng)閑時結(jié)伙販鹽。一旦官兵大隊來襲，便四散回家，官兵去后，則又嘯聚如故，對官府而言，此是匪患難除。但對徐寶山的“大志向”來說，實在是個不利因素。因此，他與丁賓狐等人反復商討，權(quán)衡利弊，覺得只有聯(lián)絡勢力強大的洪門，才能利用洪門組織搞起一支層次更高的武裝。

徐寶山本來應算是正宗的青幫首領，屬于比“大”字輩高一輩的“禮”字輩。聽說泰州城內(nèi)有個洪門首領任春山，便立即帶領丁賓狐一起，秘密趕到泰州去同任結(jié)交，要跟他共圖大業(yè)。時逢任春山正在泰州相機發(fā)展組織，以算命先生為表面身份，暗地里則聯(lián)絡會眾?；蛟S是世道荒亂，英雄相惜，在丁賓狐的勸說下，兩個敵對幫派的首領一拍即合，結(jié)為異姓兄弟。結(jié)果是任春山介紹徐寶山加入洪門，徐寶山介紹任春山加入青幫。兩人合開洪門山頭，名字中各取一字作為山名曰之“春寶堂”，徐任為并列堂主。