蔣介石出兵要求受阻后，繼續(xù)利用“白團”訓練國民黨軍隊。繼圓山訓練所之后，蔣介石又下令在北投設立一個指揮官訓練場，叫做石牌訓練所。此外，又在臺北南面的新竹縣湖口建立了一個訓練所。“白團”的成員也開始增多，1950年下半年又有10名日本軍官加入“白團”，至1951年“白團”成員總共有83人。“白團”成員多數(shù)畢業(yè)于日本陸軍大學與日本海軍大學，在舊日軍里大都是中級干部，屬于兵團參謀長或團長。比較晚來的成員，也是以化名方式搭乘中國籍的運蕉船來到臺灣的。“白團”成員長期不公開身份，被后人稱作“覆面部隊”。

國民黨部分將領對“白團”來臺灣持反對意見，其中以陳誠和孫立人為代表。特別是孫立人將軍對“白團”最不服氣。孫立人時任國民黨軍隊陸軍總司令，曾在抗戰(zhàn)中率領遠征軍重創(chuàng)過日軍。對于昔日的手下敗將，孫立人對“白團”的顧問們根本不放在眼里。孫立人直接對“白團”成員說，跟他們沒有什么好學的，而美國可以學的就比較多。孫立人還稱病拒絕觀摩“白團”的演習，也回避與“白團”的日軍顧問們接觸。為了讓這些將領改變態(tài)度，1953年，蔣介石要求“白團”策劃了一次聯(lián)合作戰(zhàn)演習，陳誠、孫立人都到場觀察。演習持續(xù)了兩個多小時，全部是實彈演習，這種情況連觀察演習的人也沒經(jīng)歷過，震撼很大?？催^演習之后，陳誠、孫立人等人對于日本“白團”就不再反對了。

“白團”在臺灣的活動大體分為以下內容：一是在臺北圓山訓練所，進行短期訓練，參加的主要是國民黨中下級軍事指揮官；二是指定國民黨陸軍第三十二師作為模范中山師團，由“白團”選出數(shù)十名教官進行訓練；三是設立石牌訓練所“實踐學社”，相當于舊日本陸軍大學和海軍大學，對國民黨高級軍官長期進行軍事教育。

新竹湖口的國民黨陸軍32師的訓練情況值得一提。當初蔣介石把32師交給“白團”訓練時就提出了要求，希望他們能夠對軍官進行一對一實戰(zhàn)訓練，能把三十二師訓練成中山師、模范師，然后由其他師團來模仿。

“白團”的訓練與美軍的完全不同。比如，“白團”教官要求炮兵一炮就要命中一個目標，訓練每發(fā)必中；工兵則訓練如何利用現(xiàn)有竹林、樹林等物資的方法。同時，對舊日本軍隊的教練、演習、戰(zhàn)斗等基本方針的教材改良成中國式。他們還學習美軍突擊射擊的戰(zhàn)法，一邊突擊沖鋒，一邊射擊，把這些戰(zhàn)斗技術用到三十二師的訓練中。國民黨三十二師預計進行一年的訓練，但實際上最后花了一年半的時間。

“白團”只對國民黨三十二師進行了整個師的訓練教育，其他師則是觀摩三十二師的訓練，學習后再模仿實施。三十二師訓練完成后進行演習，由蔣介石檢閱。后來，三十二師成為國民黨軍中“最優(yōu)秀”的部隊，部署在士林蔣介石官邸的周圍。

石牌“實踐學社”，時間長達20多年，訓練了國民黨軍隊中的中青年軍官近萬人。蔣介石在石牌“實踐學社”投入了大量經(jīng)費，一個國民黨軍官曾經(jīng)感嘆：國民黨軍中哪有像石牌這樣用錢方便的。

盡管蔣介石對“白團”一事嚴格保密，但美國早就知道這回事。1950年3月，盟軍麥克阿瑟總部就對岡村寧茨發(fā)出過警告：你們?yōu)橹袊矫姹甲?，招募日本舊軍人，組織義勇隊偷渡前往臺灣一事，現(xiàn)奉麥帥指示，日本人此種行為，應予嚴格禁止。若有違規(guī)，即予逮捕判刑，盼轉告你過去的舊部，勿蹈法網(wǎng)。不過，盟軍只是警告而已，實際上是睜只眼閉只眼，并未真正進行調查，并采取行動。朝鮮戰(zhàn)爭結束后，美國大批軍事顧問團來到了臺灣，“白團”就不得不減少成員，一部分人回了日本。

蔣介石敗退臺灣后始終不忘反攻大陸。他邀請“白團”到臺灣訓練部隊就是為反攻大陸做準備?！鞍讏F”在給國民黨軍官上課或訓練時，就是以大陸為假想敵和作戰(zhàn)地區(qū)的。蔣介石與“白團”每年聚餐一次，每次蔣介石在聚餐會上都會說他想反攻大陸的事。后來，蔣介石在聚餐會上不得不遺憾地說，自己老了，體力也支持不了了，不能反攻大陸了。不過，在強盛的中華人民共和國面前，蔣介石就是不老，也無能力反攻大陸。蔣介石反攻大陸的計劃只能停留在計劃上，只能是個夢想，日本軍國主義余孽“白團”也幫不了他。