這個(gè)時(shí)候，褚遂良外貶已有一年多，侍中韓瑗上奏，想說(shuō)服皇帝把褚遂良召回，重用有真才實(shí)學(xué)的大臣。他奏道：“朝廷貶謫賢良之臣，向?yàn)轱L(fēng)氣敗壞之兆。遂良體國(guó)忘家，乃國(guó)之老臣，無(wú)聞罪狀，即遭貶謫，內(nèi)外大臣、百姓無(wú)不嘆惋。遂良雖有忤君之罪，然顛沛經(jīng)年，陛下何不憐而赦之乎？”

高宗對(duì)韓瑗的上奏并不上心，只是應(yīng)付似地回答他說(shuō)：“遂良之情，朕亦知之。然其悖戾好犯上，故而責(zé)之。卿何必言重？”

韓瑗、來(lái)濟(jì)見(jiàn)高宗的話有所松動(dòng)，便慨然力爭(zhēng)：“遂良乃社稷忠臣，為讒諛之人詆毀。陛下無(wú)辜棄逐舊臣，恐非國(guó)家之福。”

李治很明白他們這話說(shuō)的是什么意思，心里頗有不快，可是韓瑗卻不懂得察言觀色，揣摩圣意，一著急，竟然說(shuō)：“赫赫宗周，褒姒滅之。臣不愿見(jiàn)唐室之衰亡也！”

這一下禍惹大了。

高宗聽(tīng)了怒氣大作，吼道：“你下去吧！”

就在韓瑗說(shuō)這些話的時(shí)候，武則天正在簾后，但始終沒(méi)有吱聲。她觀察得很細(xì)，心中已然有數(shù)。

顯慶二年（657年）閏正月，高宗和武則天行幸洛陽(yáng)宮，在這里住了下來(lái)，并于當(dāng)年底宣布將洛陽(yáng)定為東都。后世有史家說(shuō)，因武則天在長(zhǎng)安宮中常見(jiàn)王皇后、蕭淑妃的鬼魂作祟，故有此避祟之舉。而實(shí)際上，是因?yàn)樘平烈驯惹俺兴鶖U(kuò)大，政治中心南移，是為便于統(tǒng)治。

到了三月份，不知為什么，關(guān)隴一派似乎是想以退為進(jìn)，建議高宗，把褚遂良從潭州（今湖南長(zhǎng)沙）調(diào)到更遠(yuǎn)的桂州（今廣西桂林）任都督。這也可能是為了讓褚遂良再遠(yuǎn)離政治中心一些以避禍。

他們已經(jīng)發(fā)覺(jué)武則天力量的突飛猛進(jìn)，和她正面對(duì)抗，贏的概率不大了。很快，一場(chǎng)更大的政治暴風(fēng)雨便把這一批舊老沖洗得干干凈凈。

顯慶二年七月，武則天指使許敬宗和李義府向皇帝上奏，說(shuō)韓瑗、來(lái)濟(jì)和褚遂良正暗中策劃發(fā)動(dòng)叛亂。接下來(lái)的事情當(dāng)然是意料之內(nèi)的，皇帝素來(lái)對(duì)叛亂這個(gè)話題極為敏感，大驚之下也不查明事情的真相，韓瑗、來(lái)濟(jì)便被趕出朝廷。韓瑗被發(fā)配到了海南島的振州做了刺史，來(lái)濟(jì)到浙江的臺(tái)州做了刺史，并且終身不準(zhǔn)入朝。褚遂良被貶到了愛(ài)州（今越南清化）做刺史。一個(gè)比一個(gè)偏遠(yuǎn)。就連以前那個(gè)王皇后的舅舅柳奭，現(xiàn)在雖然已是成不了什么氣候的老人，早就貶到榮州（今四川榮縣），這次也受牽連，再貶到象州（今廣西象州縣）為刺史。

褚遂良被一貶再貶，心情惡劣可想而知。當(dāng)初的倔強(qiáng)勁兒早已消失，只有上表乞憐。他說(shuō)：“先帝臨終時(shí)，臣獨(dú)與無(wú)忌二人受遺詔，陛下當(dāng)時(shí)哀慟，臣曾加以寬慰，陛下手抱臣頸。臣與無(wú)忌立刻奉陛下還京，處理大事，致使內(nèi)外安寧。臣力小任重，動(dòng)輒得罪，今成螻蟻微賤之軀，乞陛下哀憐！”

這樣一紙聲淚俱下的表上去之后，高宗不理。高宗的冷漠，給褚遂良的身心打擊很大，第二年，他就在愛(ài)州郁郁而終，時(shí)年六十歲。

這樣，關(guān)隴舊勢(shì)力已經(jīng)被慢慢地分化瓦解得差不多了。武則天明白，現(xiàn)在還剩下一個(gè)最難對(duì)付的長(zhǎng)孫無(wú)忌。