其實在這之前，高宗已經(jīng)對李義府警告過，他曾對李義府說：“聽說你兒子、女婿平時做事都不謹(jǐn)慎，有很多毛病被人不齒。我也為你掩蓋過，只是沒對你說過罷了，你回去應(yīng)該好好說說他們，以后再也不要這樣了。”可是李義府心里頗不以為然，不但沒有悔過，反而向高宗發(fā)問說：“誰向陛下說的這些？”高宗說：“只要我說得對，你干嗎要問我怎么知道的！”李義府拒不認(rèn)錯，緩步而去，高宗居然也都容忍了。

這一次，高宗真不想再忍下去了，索性，把這兩個人全都貶走。武則天也覺得應(yīng)該殺一殺李義府的囂張氣焰了。李治下詔，將杜正倫貶為橫州（今廣西橫縣南）刺史，李義府被貶為普州（今四川安岳縣）刺史。

人走茶涼。就在李義府前腳被貶后，馬上就有人在后腳落井下石。一個是李崇德，馬上把李義府的名字從家譜上除去了。另外一個人，是吏部尚書唐臨。

吏部尚書唐臨本是長孫無忌一派的人，他見李義府被貶出中央了，大為興奮，以為扳回局面的時機已經(jīng)成熟。他把素與李義府有怨的張倫調(diào)為劍南道（今四川云南一帶）巡察使，準(zhǔn)備好好收拾一下這個不知恥的李義府。

唐臨還保奏與來濟關(guān)系不錯的許煒為江南道巡察使，以保護被貶在臺州的來濟，等待將來翻身的機會。

這兩道奏章讓武則天有點摸不到頭腦，于是找來了許敬宗詢問。這一聽，大吃一驚。原來，張倫與李義府素來不和，現(xiàn)在李義府被貶為普州刺史，唐臨想保張倫為劍南道巡察使，這官職在李義府之上，很容易尋個李義府的不是，辦他個罪名打發(fā)掉。至于許煒，和來濟的關(guān)系很不錯，現(xiàn)在請他來出任江南道巡察使，自然可以保護來濟，留得青山在，不怕沒柴燒。

武則天倒吸了一口冷氣，沒想到關(guān)隴勢力這百足之蟲死而不僵，她馬上去找李治，說唐臨玩弄權(quán)術(shù)云云，理應(yīng)查辦。

高宗相信了這話，立刻貶了唐臨的官。這一來，也斷了關(guān)隴一派最后的幻想。不久唐臨就死在了潮州刺史任上，終年六十歲。武則天接著又提議，讓許敬宗代李義府為中書令，另派大理寺卿辛茂將兼任侍中。