開皇十五年（595）三月，仁壽宮終于修好了。當(dāng)時高颎不還是首席宰相嘛，隋文帝先派高颎去驗收。高颎可是和隋文帝一起開創(chuàng)節(jié)儉型政府的人物，跟楊素的價值觀很不一樣，他一看這個宮殿如此豪華，馬上開始心疼國庫，心疼百姓了，回來之后如實匯報說："頗傷綺麗，大損人丁"。

什么意思呢？建得倒是挺好，問題是好過頭了，損失了好多老百姓。隋文帝可是個節(jié)儉的好皇帝啊，一聽高颎這樣匯報，馬上心里"咯噔"一下，就有了一種先入為主的壞印象。

三月底，隋文帝終于抽出時間親自去視察了。這一視察，印象更壞了。為什么呀？因為他在沿途就聽到一些說法，說楊素為了趕工期，把好多民夫都給累死了，有些人死后填了山谷，還有些干脆就地焚燒了事，這也太不愛惜民力了！所以，一到仁壽宮，隋文帝就怒氣沖沖地說了一句："楊素竭百姓之力，雕飾離宮，為吾結(jié)怨于天下。"楊素這么干，不是給我招恨嗎？

這話傳到楊素耳朵里，可把他嚇壞了。本來是竭盡全力想討好皇帝，沒想到馬屁拍到馬腿上了。怎么辦呢？

這時候，有人就給楊素出主意了。誰呢？楊素的侄女婿，也是仁壽宮的監(jiān)工--封德彝。封德彝對楊素說：咱們皇帝聽皇后的，現(xiàn)在既然皇帝對你有成見，你不如先跟皇后溝通一下，只要皇后認(rèn)可，皇帝肯定不會責(zé)備你，沒準(zhǔn)還有賞賜呢。

楊素一聽，有道理，趕緊悄悄地找到獨(dú)孤皇后，對她說："帝王法有離宮別館，今天下太平，造此一宮，何足損費(fèi)！"帝王按道理講，就應(yīng)該是近離宮別官的，現(xiàn)在天下如此太平，我就幫皇帝修這么一座離宮，這有什么不可以的呢？花的那點(diǎn)錢算什么?。窟@一句天下太平把獨(dú)孤皇后給打動了。是啊，我們以前克勤克儉，不就是為了能夠天下太平嗎？現(xiàn)在既然已經(jīng)天下太平了，干嘛還要一直當(dāng)苦行僧呢！

第二天一早，隋文帝召見楊素。楊素還是有點(diǎn)緊張，磨蹭了好半天才去。進(jìn)入宮中，孤獨(dú)皇后說："公知吾夫婦老，無以自娛，盛飾此宮，豈非忠孝！"楊素知道我們夫妻年紀(jì)大了，也沒別的愛好了，所以給我們修了一座好房子，讓我們也享受享受，是個忠孝之臣啊！隋文帝一聽，也面帶喜色，連連點(diǎn)頭。就這樣，楊素靡費(fèi)資財，草菅人命，不僅沒有受到懲罰，反倒賜錢百萬，賜絹三千段。