1560年，嚴(yán)嵩已有80歲。他的心力和身體都已衰弱，不能再像他從前那樣勤懇地侍奉皇帝。一些年來皇帝的多數(shù)敕令事實(shí)上是由他的兒子嚴(yán)世蕃草擬的，當(dāng)他入值時(shí)，嚴(yán)世蕃陪伴著他。在嚴(yán)的妻子于1561年去世之后，他的兒子必須在家里伺候他，這是嚴(yán)能夠讓他的兒子避免離開北京去照料他母親葬禮的唯一辦法。這時(shí)戴孝的他的兒子不能再和他一道到皇城的西苑去侍奉皇帝。嚴(yán)這時(shí)甚至不能看懂皇帝的手詔；他為了回奏，必須把皇帝的詔令帶回家中給他的兒子。他的兒子常常喝醉或者干些其他放蕩的事，因而什么東西也不能及時(shí)準(zhǔn)備。當(dāng)皇帝派太監(jiān)去催要答復(fù)時(shí)，嚴(yán)不得不自己起草點(diǎn)什么，而他草擬的東西卻被發(fā)現(xiàn)原來是不合格的。繼續(xù)干這種工作，他的確是太老了；他畢竟不是道教的神仙，而是一個(gè)有病的老人。他容易受到責(zé)難，很快就倒了楣。

　　嚴(yán)嵩在內(nèi)閣的副手大學(xué)士徐階，最初是夏言在朝廷上推薦的，夏言于1548年被嚴(yán)嵩處死。徐階和嚴(yán)嵩從來不和，在他于1552年成為大學(xué)士之后，他努力削弱嚴(yán)在皇帝面前的有利地位，反對(duì)他的政策，提出相反的建議，暗中指揮對(duì)嚴(yán)和他的代理人的彈劾活動(dòng)。嚴(yán)懷疑徐以某種方式背地支持彈劾他的各種企圖，但他什么也不能證實(shí)。他有幾次試圖使徐被免職，但每次都失敗了。徐繼續(xù)在政策問題上向皇帝提出建議，他終于被允許籌辦不死藥和草藥，這項(xiàng)工作以前是只交給嚴(yán)嵩的。

　　皇帝從未完全信任嚴(yán)嵩。他有時(shí)會(huì)干脆不理或拒絕嚴(yán)的建議，以便行使他裁決事情的絕對(duì)權(quán)力。當(dāng)嚴(yán)不能再侍奉他時(shí)，他開始尋找一個(gè)代替的人。徐階等待這個(gè)機(jī)會(huì)已有八年。他知道皇帝覺得嚴(yán)嵩已不再有用，知道他瞧不上嚴(yán)的兒子。無論什么時(shí)候，只要有可能他就加深皇帝的不滿。1562年，他親自照管1561年12月焚毀的皇帝寢宮的重建工程。嚴(yán)嵩反對(duì)重建這座宮，另外建議皇帝移居到上世紀(jì)50年代被廢黜的英宗皇帝實(shí)際上被當(dāng)作囚徒時(shí)住過的另一座宮里去?；实劬芙^考慮這個(gè)建議。他的宮只不過四個(gè)月便復(fù)原，1562年6月，在他重新定居以后不到兩月時(shí)，嚴(yán)嵩便被免職。

　　在皇帝的知己和顧問陶仲文得病而于1559年從朝廷告退以后，他只好重新挑選一個(gè)道教名家來指導(dǎo)扶乩儀式。他的新的扶乩者最初只是焚化交給他的密封的問題，而皇帝很少能夠得到一個(gè)滿意的答復(fù)。這種情況不能繼續(xù)下去。扶乩者和送交包封的太監(jiān)開始在焚化包封之前閱讀所提的問題。他們因而能夠按照皇帝的意愿而占卜答案。

　　徐階和這個(gè)扶乩者聯(lián)合，開始攻擊嚴(yán)嵩。在嚴(yán)被免職之前不久，他是一連串扶乩所得答復(fù)中的話題。當(dāng)皇帝按慣例詢問帝國為什么沒有治理好時(shí)，他被告知，那是因?yàn)楹萌藳]被任用而不孝順的人沒有退職。問及誰孝順和忠誠，誰不孝順不忠誠時(shí)，他被告知，徐階忠誠而嚴(yán)嵩不忠誠。當(dāng)這個(gè)答復(fù)隨后在別的占卜中得到證實(shí)時(shí)，皇帝變得非常不安。有關(guān)這件事的消息被一個(gè)太監(jiān)非正式地傳給了一個(gè)御史，這個(gè)御史立即彈劾了嚴(yán)嵩的兒子。當(dāng)嚴(yán)試圖代他的兒子說情時(shí)，皇帝指責(zé)了他。很明顯，他已經(jīng)不再受寵，他于1562年6月被迫去職。

　　皇帝這時(shí)信任徐階。1560年，當(dāng)陶仲文和陸炳在幾星期之內(nèi)相繼去世時(shí)，皇帝失去了僅有的親密伙伴。他把陶當(dāng)作同等的人對(duì)待，把陸炳（陸在1539年救過他的命）當(dāng)作兄弟對(duì)待。嚴(yán)嵩走了。只有徐階仍然受寵。徐小心謹(jǐn)慎，不立即攻擊嚴(yán)嵩和他的黨羽；他反而顯得很和解。當(dāng)1562年晚期接到彈劾胡宗憲的奏疏時(shí)，皇帝說胡不是嚴(yán)黨中人，而徐也沒有催逼這個(gè)問題。

　　他不能冒險(xiǎn)批評(píng)皇帝。過去每一次貶黜嚴(yán)嵩的嘗試都因?yàn)樯献嗟娜瞬荒馨阉麄兊呐u(píng)限制在嚴(yán)嵩身上而失敗了；他們常常也攻擊了皇帝的某些政策和決定。立太子的事已經(jīng)擱置了10多年，而皇帝不想討論這件事?？墒巧献嗟娜苏J(rèn)為不得不聯(lián)系嚴(yán)嵩的罪惡而提出這個(gè)問題。皇帝有可能終于對(duì)上奏者非常生氣，以致他可能忽略他的奏疏的主旨，反而懲罰他。徐階記住了這一點(diǎn)。

　　1562年，嚴(yán)世蕃在他父親去職時(shí)，被謫戍瘴癘之地。他不前往他的戍地，反而回到他在江西的祖居，他在那里開始招募一支大的衛(wèi)隊(duì)。1564年9月，在皇帝生日的時(shí)候，嚴(yán)嵩進(jìn)呈一篇如何召鶴（道教神仙的使者）的文字，同時(shí)請(qǐng)求允許他的兒子從戍地回來照顧他。這個(gè)請(qǐng)求被拒絕了。1564年12月，一個(gè)御史上奏說，嚴(yán)世蕃實(shí)際上住在江西，并且招募了4000多人。嚴(yán)世蕃和他的同伙被控謀反，被捕，并被帶到北京受審。

　　對(duì)嚴(yán)世蕃的最初的控告書，其中也指控他和幾個(gè)官員的死有牽連，這幾個(gè)官員是按照皇帝的命令被處決的。當(dāng)有人把控告書的草稿給徐階看時(shí)，徐把有關(guān)謀反罪行的材料之外的一切事情都刪去了?；实哿⒓磁鷾?zhǔn)了判決。他長期以來就瞧不上嚴(yán)嵩的兒子。1565年4月，嚴(yán)世蕃被處死，他的父親被貶為平民，嚴(yán)家的財(cái)產(chǎn)被沒收。嚴(yán)嵩，一個(gè)在朝廷上無人可求的無家可歸的人，死于這一年的晚些時(shí)候。