奕訢同時(shí)向皇帝建議說(shuō)，既然倭仁信誓旦旦保證“中國(guó)天下之大不患無(wú)才，必有精通天文算學(xué)者”，那么何不讓該大員立即“酌保數(shù)員，擇地另設(shè)一館，與同文館互相砥礪，共收實(shí)效”呢？

大約，慈禧太后也看到了倭仁之流不過(guò)就是言辭上的巨人而已，因此極為贊同奕訢的這個(gè)巧妙主意，明發(fā)懿旨要求倭仁“另行擇地設(shè)館”，且立即保舉他所說(shuō)的精通天文、算學(xué)的人才。同時(shí)，更于是年陽(yáng)歷4月25日正式任命倭仁在總理衙門上行走，直接參與洋務(wù)事宜。

奕訢的這一手，令只知道“平日袖手談心性”的冬烘先生倭仁遇到了空前的大麻煩。他一邊申辯開脫，請(qǐng)求“不必另行設(shè)館”；一邊趕緊聲明：“意中并無(wú)其人，不敢妄保?！?/p>

對(duì)于慈禧太后和奕訢等奉送給他的這頂總理衙門上行走的大帽子，倭仁更是不敢接下，一再上疏堅(jiān)辭。但卻未獲太后和皇帝的批準(zhǔn)。被逼無(wú)奈的倭仁只好在上任的途中故意墜馬，然后以“足疾”的理由，請(qǐng)求開去一切職務(wù)。朝廷旋即批準(zhǔn)了他的要求，但卻依然給他保留了一個(gè)沒(méi)有多少實(shí)際意義的大學(xué)士的虛銜。

如果說(shuō)，在開設(shè)同文館這件事上堅(jiān)決支持奕訢等開明派的慈禧皇太后對(duì)于張盛藻和倭仁等人還算比較客氣的話。那么，隨著反對(duì)開設(shè)同文館的一派調(diào)門的不斷升高，慈禧太后所把持的朝廷對(duì)于這些人的態(tài)度也轉(zhuǎn)而趨于強(qiáng)硬。

同治六年五月二十二日（1867年6月23日），候選直隸州知州楊廷熙以“久旱不雨，天象示警，人言浮動(dòng)”為由，通過(guò)左都御史靈桂代呈奏折，羅織罪狀十條，污蔑奕訢等人為“必欲潰夏夷之防，為亂階之倡”的亂臣賊子，并請(qǐng)求撤銷同文館，“以弭天變而順人心，杜亂萌而端風(fēng)教”。

楊廷熙的這道奏折進(jìn)一步激化了對(duì)立雙方的矛盾。奕訢等人以及總理衙門各大臣甚而以全體辭職相抗?fàn)?。這意味著兩宮皇太后到了不能不對(duì)此一問(wèn)題做出最后決定的地步。

楊折上奏后的第七天（6月30日），朝廷明發(fā)了一道措辭十分嚴(yán)厲的上諭。該份上諭在對(duì)奕訢等諸大臣進(jìn)行安撫的同時(shí)，嚴(yán)詞申斥了楊廷熙，說(shuō)他“呶呶數(shù)千言，不過(guò)摭拾陳言，甚屬荒謬，情尤可惡”。