為使同學們更好更快地了解各種西學知識，實現(xiàn)教育救國的理想，蔡元培十分重視外語的學習。他曾對特班的同學們說：“現(xiàn)在中國被各國欺侮到這地步，知彼知己，百戰(zhàn)百勝，我們要知道自己弱點，還要了解國際情況。了解國際情況，就要通曉外國文，讀外國書?！?nbsp; 他認為英文自然要學，但鑒于英文難學，而大多數(shù)西方著作，都有日文譯本，同學們不妨先學習與漢語較為接近的日文，以了解世界大勢。他本人親自教授日文，傳授譯文翻譯法。在他的指導下，那些學日文的同學果然獲益匪淺，“不數(shù)日，人人能讀日文，且有譯書者?！?nbsp; 出于對外語的重視，蔡元培本人還在教書、編書之余，跟馬相伯學習拉丁文。他認為，歐洲各國語言多源于拉丁文；不通拉丁文，便無從了解西洋的古代文化。因此，雖然馬相伯告訴他，拉丁文在西洋已成古董，除大學外其他學校均不注重，中國學者更沒有必要去學它，但蔡元培還是執(zhí)意學習。每天一清早，他從南洋公學步行兩三公里路，趕到徐家匯土山灣馬先生的住處。有時，5點鐘就在外面叫門，馬先生還未起床，而且起床后還要做禱告，便開門對他說：“太早了，太早了，八九點鐘再來吧?！?后來，根據(jù)馬相伯的建議，蔡元培選派24名學生一道師從馬先生學習拉丁文。1903年，馬相伯即在此基礎上創(chuàng)辦震旦學院。

在創(chuàng)造活潑的教學氛圍的同時，蔡元培對同學們平常在校內的言行又要求甚嚴。他曾手訂特班生游息規(guī)則，規(guī)定學生拋球、競走等體育活動只能在操場進行；進入飯廳、體育場，當整齊有序，不可爭先亂走；走路“當有步驟，不得沖突他人”；在游息場所，不得有“咒謔忿詈之事” ，引導同學們養(yǎng)成講秩序、守紀律、尊重他人的良好習慣。在蔡元培的教育和影響下，特班的42名學生不少后來在社會上都有所成，較著名的如邵力子、洪允祥（樵舲，后為詩人）、王世瀓（莪蓀，治法學）、胡仁源（次珊，后治工程，曾任北大工科學長、代理校長）、謝沈（無量，后為著名文學家）、李廣平（叔同，后出家，為著名的弘一法師）、黃炎培（任之，后為著名教育家）、項驤（渭臣，后治財政）、貝壽同（季眉，后留學德國，治建筑）。

執(zhí)教南洋公學是蔡元培早期從事教育救國實踐活動的一個重要時期。南洋公學所在的上海，不像保守、偏居一隅的古城紹興，是當時國內最開放的一座城市，是維新運動以后國內各類新學人士會集的地方，它為蔡元培從事更為廣泛的社會和政治活動提供了條件。

在南洋公學任教期間，蔡元培在上海從事的其中一個社會活動是開始涉足報界和出版界。1901年10月，他與鄉(xiāng)試同年好友張元濟合議創(chuàng)辦《開先報》，取英文“前隊，沖鋒之義”，后改名《外交報》。蔡元培手訂《創(chuàng)辦〈外交報〉敘例》，指出本報宗旨“薈我國自治之節(jié)度，外交之政策，與外國所以對我之現(xiàn)狀，之隱情，臚舉而博譯之，將以定言論之界，而樹思想之的，為理論家郵傳，而為實際家前驅?！?同時，他支持蔣智由創(chuàng)辦國內第一張文摘報——《選報》，為《選報》 撰寫敘論，宣傳該報“薈域中域外之國文報而抉擇之，其有關天下之故、通古今之變者，咸具本末，間附評議，托體于溫故，而取徑于開新。蓋不居撰述之名，而有其義者，非與尋常緝比之報為重臺也?！?nbsp; 此外，為糾正社會上為應付科舉考試出版的文本存在的迂謬窒塞、束縛新思想的弊端，蔡元培選錄梁啟超、嚴復等“當世名士著譯之文”，共42 篇，編訂《文變》 一書，于1902年5月由商務印書館出版，以期幫助讀者“知世界風云之所趨”, “無為三家村夫子之頭巾氣所范圍” ，積極宣傳新學，以帶動國人思想言論的進步。同年，他又應張元濟之聘，兼任商務印書館編譯所所長，負責制定國文、歷史、地理三科教科書的編纂體例。這是蔡元培與商務印書館的首次合作。自此之后，直至逝世，他與商務印書館始終保持密切聯(lián)系。

蔡元培在滬上參與的另一重要活動，是組織成立中國教育會和愛國女校。中國教育會成立于1902年4月20日，由蔡元培和葉瀚（浩吾）、蔣觀云、黃宗仰、林白水、王小徐（季同）、汪德淵等人共同發(fā)起，會址設在上海泥城橋外福源里21號。4月27日，蔡元培被推選為中國教育會會長。從教育會章程來看，它成立的本意是要推動國內教育事業(yè)的發(fā)展，“以教育中國男女青年，開發(fā)其智識，而增進其國家觀念，以為他日恢復國權之基礎為目的”。 教育會起初設想的規(guī)模十分宏大，會內設教育部、出版部和實業(yè)部。教育部分男子部和女子部，主要工作是設立學堂，教授普通學和各種專門技藝。出版部負責教科書、報刊和有關學術著作編印和出版。實業(yè)部則負責開設若干工廠或公司，以便為教育會提供財源。但教育會實際上并沒有能按這一計劃進行，它在當時主要是為學界進步人士聚會和開展活動創(chuàng)造條件，是一個進步的教育文化團體，后來則成為國內最早的一個革命團體。