盛宣懷極力挽留他，但張元濟態(tài)度非常堅決。他在寫給盛宣懷的信里說，中國4萬萬人口，只有40萬人受過教育，受過教育的人也就是學過幾句八股文，對于應該知道的知識幾乎都沒有學到，如此發(fā)展下去，國家要亡。張元濟認識到，自打政府開展洋務以來，辦企業(yè)也好，辦學堂也好，因為弊端太多，最后成功的并不多，他認為也許走民間辦企業(yè)的道路會有希望，于是加盟商務印書館?；蛟S連他自己也沒有料到，他的這個決定對中國近現(xiàn)代出版業(yè)產(chǎn)生了深遠的影響。

張元濟和夏瑞芳約定，“吾輩當以扶助教育為己任”，并在詩中寫道：“昌明教育生平愿，故向書林努力來”。他們兩人相識于1899年。當時商務印書館請人翻譯了一批日文書，但是翻譯質量很差，賣不出去。夏瑞芳就找到張元濟，請他修改譯稿，可是稿子改完了還是不能用。由這件事夏瑞芳意識到，商務印書館得有自己的編譯所才行。起初，張元濟推薦了蔡元培當編譯所所長，后來因為“《蘇報》案”蔡元培離開上海，張元濟接手了所長一職。

由于張元濟辦過學堂，有過教學經(jīng)歷，所以非常清楚在教學過程中教科書的重要性。沒有教材、參考書，教學是很困難的事。張元濟到了商務印書館不久，就開始籌劃編寫教科書。他所主持的小學國文教科書，不是最早出版的，卻是當時最好的。一經(jīng)面世，其他書局的兒童讀本，都漸漸失去影響。

張元濟編課本的方法很獨特，發(fā)揚民主作風，讓大家圍坐在一起，就像今天開選題策劃會一樣，每個人都可以說出想法和主張，如果被大家公認有價值，就詳細討論。討論者從兒童啟蒙的特點入手，由簡入繁、循序漸進。往往因為一個小問題，大家會爭論得面紅耳赤。每一個點都要討論到所有參與者都沒有異議為止。每完成一篇課文，大家再輪流閱讀，該改動改動，該潤色潤色。

接下來，張元濟主持編印《最新教科書》，發(fā)行后，考慮到教師教學的方便，他又編印教學法，相當于現(xiàn)在的教師參考書。這是張元濟的首創(chuàng)，受到教師們極大的歡迎?？梢哉f，《最新教科書》為商務印書館在教科書領域打開了市場。1906年清廷學部審定初等小學教科書共102種，其中民營書局發(fā)行的有85種，而商務印書館就占了54種。

除了編纂教科書，一向對西學抱有興趣的張元濟不忘譯介西方學術著作。嚴復翻譯的《天演論》《法意》及林紓等人翻譯的小說也在商務印書館出版，產(chǎn)生了很大的社會影響。胡適后來回憶自己讀商務版的《天演論》時，禁不住夸贊此書給他的思想帶來巨大的沖擊。

編輯出版辭典等工具書，也顯現(xiàn)了商務印書館的獨到眼光，這其中最有名的莫過于《辭源》。《辭源》1908年開始編纂，用了八年時間完工，行銷甚久。此外，商務印書館還出版了《英華音韻字典集成》、《華英字典》，這些是中國最早自編的外語字典。商務印書館此時還辦了好多期刊，如《小說月報》、《東方雜志》等。不夸張地說，張元濟到了商務印書館后，商務的面貌煥然一新。