早在姚世安之前，指揮利州軍的都統(tǒng)王夔便是一個抗敵無能、擾民有術(shù)的軍閥，人送外號“王夜叉”。余　前往他的防區(qū)視察，王夔派出由兩百名老弱病殘組成的儀仗隊表示“歡迎”。余　用開玩笑的口吻說：“一直聽說王都統(tǒng)麾下兵強馬壯，想不到疲敝若此，真是聞名不如見面啊！”王夔卻答道：“不是我的部隊不行，只是怕嚇著您老人家！”于是一聲呼哨，四周頓時鼓聲如雷，伏兵四起。余　的隨從都嚇得面無人色，唯有余　依然談笑自若，讓部下賞賜前來“迎接”的利州軍將士。這倒令王夔有些下不了臺，后來他私下里對部下說：“原來士大夫中也有這樣的人！”

姚世安是利州軍內(nèi)混了多年的老兵油子，他的前任退休之前自說自話地將利州軍司令的位置傳給了他。這種私相授受的行為當(dāng)然不能得到余　的允許，親自派出三千騎兵前往云頂山（利州軍司令部所在地），準備以武力護送自己人上山接管指揮權(quán)。但姚世安“閉關(guān)不納”。姚世安如此有恃無恐，因為他的確有制衡余　的本錢，那就是“上面有人”。新任首相謝方叔是四川威州（今四川省理縣東北）人士，他的親屬在戰(zhàn)亂中全部淪為了難民，姚世安當(dāng)時對謝方叔家族頗為照顧。此刻他便利用這條人脈，向臨安方面求援。

謝方叔是監(jiān)察御史出身，彈劾大臣的工作本來就駕輕就熟，于是很快在政府中樞掀起了一股攻擊余　的浪潮，大肆彈劾他跟蒙古人打仗軍費開支很大，賦稅沒有以前交得多，反要朝廷補貼，而且也吃了些敗仗……宋理宗趙昀開始時甚至親自為余　辯護：“余　上任之初的局面大家都清楚，他經(jīng)營四川八年，一再擊退蒙古軍隊的入侵。這些成績還是要肯定的！”但是當(dāng)謝方叔和他的朋黨祭起“大權(quán)獨攬、不知事君之禮”這條罪狀時，宋理宗趙昀終于坐不住了。畢竟有宋一代栽在這一條上的名將比比皆是，岳飛死在這個罪名上，孟珙也死在這個罪名上，余　當(dāng)然也無法幸免。宋理宗趙昀聽取了徐清叟的意見，向余　發(fā)出召回的指令。這種召回?zé)o疑是一把雙刃劍，如果余　奉詔返回，那么等待他的將是謝方叔為首的文官系統(tǒng)的彈劾，如果他拒絕，那么就是抗旨不遵，大可以就地免職。不過余　最終以另一種激烈而又直接的方式回應(yīng)了所有的懷疑和指責(zé)——“一夕暴卒”。余　死于1253年，關(guān)于余　的死因，一直說法不一。一說他本來就在生病，聽說這事就給氣死了；還有一個說法是，余　是給毒死的。