宋寧宗趙擴(kuò)即位后，宋光宗趙惇與李鳳娘升為太上皇和太上皇后，這一結(jié)果雖然不是這對(duì)夫妻想要的，但也并非不能接受。不過宋光宗退休之后精神狀況始終不好，經(jīng)?；貞浧疬^去的種種，時(shí)而嗔罵，時(shí)而痛哭。李鳳娘經(jīng)常對(duì)他隱瞞外面的消息，不想讓光宗再受刺激。但是當(dāng)宋寧宗趙擴(kuò)登基大典的鼓樂傳來，宋光宗趙惇還是忍不住問外面發(fā)生了什么事，李鳳娘騙他說：“市井為樂耳。”宋光宗這時(shí)突然憤怒地吼道：“你竟然在這個(gè)時(shí)候還騙我？”隨即拔腿狂奔，摔倒在花園里。

李鳳娘病死之后，宮女到中宮為其取禮服，管理鑰匙的人怨其平日兇狠，拒不開啟中宮殿門。禮服沒有取到，宮人們只得用席子包裹尸體，準(zhǔn)備抬回中宮治喪。半路上忽然有人大喊：“瘋皇來啦！”宮人們一向怕遇見瘋瘋癲癲的宋光宗趙惇，一聽到喊聲，忙丟下尸體，四處散去。過了很久，當(dāng)他們知道剛才不過是旁人故意叫喊的時(shí)候，再回去尋找李氏尸體，尸體已在七月驕陽的曝曬下散發(fā)出陣陣刺鼻的惡臭。治喪時(shí)，宮人們只得雜置鮑魚，燃起數(shù)十餅蓮香，以掩蓋難聞的氣味。

吳芍芬不僅斗敗了強(qiáng)勢(shì)的孫媳婦李鳳娘，還為自己的曾孫子宋寧宗趙擴(kuò)早早地培養(yǎng)了一個(gè)賢內(nèi)助——楊桂枝。楊桂枝出身卑微，據(jù)說家族是淳安縣遼源十五里坑的一家農(nóng)戶。如果不是母親張氏擅長(zhǎng)音樂，楊桂枝有幸跟隨母親進(jìn)入德壽宮樂部，楊桂枝可能一生都無緣走進(jìn)宮闈。楊桂枝本不姓楊，她在宮廷之中偶然結(jié)識(shí)了一個(gè)名為楊次山的老鄉(xiāng)，并拜為兄妹。楊次山是將門之子，他的曾祖父楊全曾經(jīng)參加過靖康年間的汴梁保衛(wèi)戰(zhàn)，因此其家族世代受到政治上的優(yōu)待。楊桂枝認(rèn)楊次山為兄之并改姓為楊時(shí)，能文能武的楊次山已是近衛(wèi)軍指揮官——宮中武德郎了。

楊桂枝的母親生病回鄉(xiāng)之后，她被留在了宮中侍候皇太后吳芍芬的起居。吳芍芬本人能詩擅畫，頗有文化修養(yǎng)，她發(fā)現(xiàn)楊桂枝聰明伶俐，不免產(chǎn)生憐愛之心，對(duì)她加以指點(diǎn)和培養(yǎng)。不過吳芍芬的照顧和指點(diǎn)卻引來了其他宮女的不平，有一次她們乘吳芍芬沐浴之時(shí)，鼓動(dòng)楊桂枝穿戴太后的衣冠，隨后便大造輿論，沒想到吳芍芬并不以為意，反而說：“或許有一天她會(huì)穿上皇后的衣冠的！”