在1906年載振、徐世昌赴東三省考察期間，路經(jīng)天津，段芝貴為載振獻(xiàn)一梨園女子，名曰楊翠喜。

1907年春，東三省體制確定，朝廷宣布徐世昌為總督，唐紹儀、朱家寶、段芝貴為三省巡撫。瞿鴻禨見所任名單皆為袁世凱的追隨者，遂加以反對。在他的支持下，借“楊翠喜”一事，御史趙啟霖、趙炳麟、江春霖紛紛上書彈劾奕劻、載振父子“置時(shí)艱于不問，置大計(jì)于不顧，尤可謂無心肝?！蓖艨的曛鞒值摹毒﹫?bào)》也極力配合，渲染奕劻、載振父子的腐敗行為。輿論嘩然。慈禧大怒，段芝貴立即被革職，奕劻被怒斥。不久之后，載振請辭農(nóng)工商部尚書及一切職務(wù)，朝廷允準(zhǔn)。