公元655年，武昭儀被冊封為皇后，而被她視為眼中釘?shù)鸟宜炝荚诘谝粫r間就被趕出了朝廷，調(diào)到遙遠(yuǎn)的潭州任都督。公元657年，她將褚遂良調(diào)到離京師更遠(yuǎn)的廣西，同年，褚遂良被卷入中書令來濟(jì)、侍中韓緩的謀反案，身敗名裂。

晚年的褚遂良在絕望之中給高宗寫了一封信，懇請他看在昔日的情分上饒恕自己，但結(jié)果仍是無濟(jì)于事。公元659年，禇遂良在流放之中死去。

縱觀褚遂良的一生，他是貞觀元老，為大唐的興盛立過功，又是著名的書法家，博聞廣記，是一個人才。不過，他在政治上卻并不明智，思想迂腐。很多人都認(rèn)為武則天整治褚遂良完全是出于私心報復(fù)，其實并不盡然。

褚遂良并非人們想象中的那么正直和大公無私。在太宗末期，他曾陷害前宰相劉洎，導(dǎo)致劉洎被冤殺；當(dāng)權(quán)期間，強(qiáng)占民田，百姓對此極為氣憤。