5月4日，是個星期天。上午10時，北大等13所學(xué)校的代表在法政專門學(xué)校繼續(xù)開會，商討下午游行示威的具體路線和辦法，并推舉北大的段錫朋、傅斯年擔(dān)任天安門大會主席和游行總指揮。

中午過后，各校的游行隊伍按計劃走出校門，從四面八方浩浩蕩蕩地向天安門進(jìn)發(fā)，下午1時左右陸續(xù)到達(dá)天安門廣場。北京大學(xué)是這次游行的發(fā)起者，但其游行隊伍卻到達(dá)最晚。當(dāng)他們在沙灘紅樓操場集合準(zhǔn)備出發(fā)時，遭到了教育部和警察總監(jiān)派來的代表的阻攔。經(jīng)學(xué)生代表鄧中夏、黃日葵、張國燾、易克嶷等人據(jù)理力爭，這兩個代表被駁得無言以對。最后，學(xué)生們沖破阻攔，經(jīng)北池子到達(dá)天安門廣場。這時已是下午1時半了。

匯集在天安門廣場的各校學(xué)生共有3000多人，他們手里拿著各種顏色的小旗，上面寫著：“取消二十一條”、“還我青島”、“寧為玉碎，勿為瓦全”、“誅賣國賊曹汝霖、章宗祥、陸宗輿”等等。前一天晚上謝紹敏用鮮血書寫的“還我青島”4個大字，也懸掛在天安門前，望之觸目驚心，使整個會場的氣氛更為悲壯。學(xué)生們有的喊口號，有的發(fā)表演講，慷慨激昂，熱烈異常。

北京政府教育部聞訊后，急忙派人趕來阻攔，被學(xué)生們嚴(yán)詞拒絕。既而大總統(tǒng)徐世昌又命步軍統(tǒng)領(lǐng)李長泰、警察總監(jiān)吳炳湘先后來到天安門廣場，要學(xué)生立刻解散。學(xué)生們見軍警環(huán)立，怒不可遏，遂高呼口號，準(zhǔn)備搏斗。軍警見狀，便撤回去報告了。

沖破軍警的阻攔后，集會宣布開始。北大學(xué)生代表登上擺放在華表前的一張方桌，宣讀了由許德珩事先起草好的《北京學(xué)生界宣言》。接著，各校學(xué)生紛紛發(fā)言，痛斥日本帝國主義的侵華罪行和曹汝霖、章宗祥、陸宗輿的賣國行徑。在這次集會中，鄧中夏、黃日葵、張國燾、高君宇等起了核心作用，北大學(xué)生許德珩、羅家倫、傅斯年、段錫朋等也都起了相當(dāng)大的作用。

集會結(jié)束后，開始示威游行。沿途散發(fā)了由羅家倫用白話文起草的傳單1萬多份。游行隊伍出中華門后，向東交民巷使館區(qū)進(jìn)發(fā)。當(dāng)行進(jìn)到東交民巷西口時，被中國巡捕阻攔。學(xué)生們遂派代表將事先準(zhǔn)備好的英文《說帖》送往美國使館。在送往英、法等國使館時，遭到拒絕。被阻于東交民巷西口的3000多名學(xué)生，已在烈日下整整曬了兩個多小時，如今又見在自己的土地上不能自由通行，個個義憤填膺，怒火滿腔。于是，大家決定去找賣國賦曹汝霖算賬。游行隊伍從東交民巷西口往北走，經(jīng)富貴街、長安街、東單，再往北折，經(jīng)石大人胡同(今外交部街)、大羊宜賓胡同來到趙家樓曹宅門前。此時已是下午4時半了。

這天中午，大總統(tǒng)徐世昌在總統(tǒng)府宴請剛從日本歸來的章宗祥，曹汝霖應(yīng)邀出席作陪。席間，傳來了學(xué)生示威游行和要求懲辦賣國賊的消息。宴會結(jié)束后，有人勸他倆暫避一時，但他們卻毫不介意地于下午2時半回到趙家樓曹宅。

憤怒的學(xué)生見曹宅大門緊閉，門前又有幾十名警察守衛(wèi)，更是怒火滿腔。學(xué)生們一面高呼口號，一面與警察說理。幾個學(xué)生乘機(jī)爬進(jìn)去，從里面把門打開了。外面的學(xué)生見門已打開，便蜂擁而入。學(xué)生沖入曹宅后，首先進(jìn)入前面大廳。見廳內(nèi)空無一人，一怒之下，將廳內(nèi)的一些家具拋出窗外。隨后，穿過花園，進(jìn)入內(nèi)廳，碰上了章宗祥和一名日本記者。學(xué)生們見到章宗祥，怒不可遏，將他痛打了一頓。章躺倒裝死，后在日本人的保護(hù)下逃到同仁醫(yī)院住院治傷。

這時，曹汝霖躲進(jìn)一小房(箱子間)，未被學(xué)生發(fā)現(xiàn)。尋不見曹汝霖，學(xué)生們氣憤異常，有的學(xué)生在內(nèi)宅放了一把火，頓時火光沖天，濃煙滾滾。隨后，張國燾和幾位同學(xué)讓各校學(xué)生整隊回校。于是，學(xué)生們漸漸散去。

曹宅起火半小時后，大批軍警趕到，逮捕了尚未散去的32名學(xué)生，并派車把曹汝霖及其家屬送往東交民巷的六國飯店。學(xué)生被捕后，受到虐待和凌辱。

5月4日晚，在軍閥政府密謀對策的同時，北京各學(xué)校的學(xué)生也在開會，討論如何營救被捕同學(xué)和繼續(xù)堅持斗爭的問題。蔡元培參加了北京大學(xué)的學(xué)生大會，他同情學(xué)生的愛國行動，但勸學(xué)生不要罷課，并保證全力設(shè)法營救被捕學(xué)生。北大學(xué)生沒有采納他的建議，決定聯(lián)絡(luò)各校學(xué)生實行罷課。當(dāng)晚，北京大學(xué)學(xué)生干事會宣告成立，下設(shè)總務(wù)、文書、交際、會計、庶務(wù)、糾察、講演等股，上百名學(xué)生骨干參加干事會的工作。張國燾被推舉負(fù)責(zé)講演部的工作。

5月5日，北京各大專學(xué)校學(xué)生實行總罷課。下午3時，各校學(xué)生又在北大法科禮堂召開了聯(lián)合大會。北大學(xué)生干事會負(fù)責(zé)人段錫朋主持會議，并報告了上午各校代表會議關(guān)于營救被捕同學(xué)的辦法，以及怎樣堅持罷免曹、章、陸等賣國賊的要求。學(xué)生們情緒激昂，紛紛發(fā)表演說，慷慨捐款。北京十幾所學(xué)校的校長也出席了大會，并且組成了以蔡元培為首的校長團(tuán)，準(zhǔn)備營救被捕學(xué)生。大會以后，北大和高等師范的代表共同起草了北京中等以上學(xué)校學(xué)生聯(lián)合會的組織大綱，并和中等以上學(xué)校的代表進(jìn)行了聯(lián)系。

5月6日，北京中等以上學(xué)校學(xué)生聯(lián)合會宣告成立。會內(nèi)分設(shè)評議、干事兩部，評議部負(fù)責(zé)決議事項，干事部負(fù)責(zé)執(zhí)行議案。評議部的評議員由每校出兩人擔(dān)任，干事部則委托北大學(xué)生干事會代理。聯(lián)合會的會址設(shè)在馬神廟的北大理科。由于張國燾負(fù)責(zé)北大學(xué)生干事會的講演工作，因此，事實上他也成了學(xué)生聯(lián)合會中講演工作的負(fù)責(zé)人。

北京學(xué)生罷課提出的要求，得到了社會各階層人士的普遍同情和支持。社會各界一致反對北京政府逮捕學(xué)生、鎮(zhèn)壓學(xué)生愛國運動的行為。消息傳到各地，舉國震動。天津、上海等地的學(xué)生和社會各界紛紛發(fā)出通電，堅決支持北京學(xué)生的愛國運動，強(qiáng)烈要求北京政府釋放被捕學(xué)生。

北京學(xué)生的罷課，全國各界人士的聲援，使北京政府感到恐懼。而且“五七”就要來臨，按照原來的計劃，這一天北京和全國各地都要召開國民大會。在這種形勢下，北京政府不得不考慮釋放被捕學(xué)生了。5月6日晚，警察總監(jiān)吳炳湘向蔡元培等提出，在實現(xiàn)兩個條件下釋放被捕學(xué)生。這兩個條件是：（一）明日不許學(xué)生參加群眾大會；（二）各校在明日一律復(fù)課。蔡元培等人完全答應(yīng)了這兩個條件。在蔡元培等的勸說下，學(xué)生們于5月7日晨復(fù)課。同日上午，被捕學(xué)生獲釋返校，受到各校師生的熱烈歡迎。同學(xué)們情緒激昂，熱淚盈眶。

被捕學(xué)生被釋放了，但原定5月7日在中央公園舉行的國民大會卻被北京政府所阻撓，沒有開成。5月7日這一天，在冷淡的氣氛中過去了。就是在這種貌似平靜的氣氛中，北京政府卻在醞釀著更大的陰謀，一是計劃將被捕學(xué)生送上法庭，二是內(nèi)定更換蔡元培的北大校長職務(wù)。5月9日晨，蔡元培在重重壓力下，辭職出走，悄然離京去天津，不久又離津南下。

蔡元培被迫辭職出走的消息，猶如火上澆油，使學(xué)生運動之火越燃越烈。這一事件不僅使北大，而且使北京的學(xué)生運動掀起了更大的波瀾。在蔡元培出走的當(dāng)天，北大立即召開各校代表會議磋商，決定先以全體北大學(xué)生的名義呈請政府下令對蔡挽留。北大學(xué)生面見教育總長，北京中等以上學(xué)校學(xué)生聯(lián)合會上書大總統(tǒng)和教育總長，要求明令挽留蔡元培并立即采取措施。同時，向全國各界發(fā)出通電，要求支援。北京的教育界和社會各界也積極進(jìn)行了挽留蔡元培的活動，教職員會作出了“如蔡不留，即一致總辭職”的決議。

5月12日，北京政府仍無表示，北京各校學(xué)生和教職員的代表遂在北大召開聯(lián)席會議，最后決議，次日向政府提出最后詢問，如無滿意答復(fù)，則一致總罷課。在學(xué)生們總罷課的威脅下，在社會各界的壓力下，北京政府不得不讓步了。5月14日，徐世昌以大總統(tǒng)的名義下達(dá)了慰留蔡元培的命令。在這種情況下，北京一些大專學(xué)校的校長開始復(fù)職了。

蔡元培南下以后，先到上海，然后又到杭州小住。徐世昌的慰留令下達(dá)后，北京各校教職員聯(lián)合會也曾去電通知蔡元培，并派代表赴杭州面邀蔡回京。學(xué)生聯(lián)合會也擬派代表一同去杭州。

徐世昌在被迫發(fā)表挽留蔡元培的命令的同時，也發(fā)表了挽留曹汝霖等賣國賊的命令。接著，又連下兩道恐嚇和鎮(zhèn)壓學(xué)生的命令。5月15日，曾經(jīng)同情過蔡元培的教育總長被明令解職。5月16日，安福系的政客們開會，企圖乘機(jī)壟斷教育大權(quán)。所有這些，使學(xué)生們認(rèn)清了北京政府的面目，激起了他們更大的憤怒。

在要求蔡元培復(fù)職斗爭的同時，學(xué)生們要求在和約上拒絕簽字的行動一刻也沒有停止。5月10日，北京中等以上學(xué)校學(xué)生聯(lián)合會通電全國，呼吁同仇敵愾，決不承認(rèn)對德和約。同時，致電巴黎的中國專使，萬勿簽字。從這時起，北大平民教育講演團(tuán)在東、南、西、北四城講演所連續(xù)進(jìn)行講演活動。5月11日的講演題目有《青島問題》、《痛史》、《青島交涉失敗的原因》、《爭回青島》、《國民現(xiàn)時應(yīng)持之態(tài)度》等。張國燾參加了這次講演，題目是《知識與快樂》。5月18日，講演團(tuán)又在四城講演所講演。講演題目有《山東與全國之關(guān)系》、《青島交涉失敗史》、《國民快醒》、《青島關(guān)系我國之將來》等。張國燾講演的題目是《歐洲和會與世界平和》。5月25日，講演團(tuán)再次講演，主要題目有《維持國貨》、《國民的責(zé)任》、《經(jīng)濟(jì)侵略之抵御》、《抵抗強(qiáng)權(quán)》、《真正民氣》、《爭回青島》等。這一天，張國燾講演了兩次，題目分別是《自衛(wèi)》和《解放》。