但是，這次葬禮恐怕也是楊素在隋文帝一朝得寵的巔峰了。因?yàn)榫驮诖撕蟛痪?，楊素在隋文帝心目中的地位就下降了。為什么呢？有人彈劾他了。誰(shuí)呢？大理卿梁毗。

就在仁壽二年（602），梁毗上書隋文帝，說(shuō)：

臣聞臣無(wú)有作威福。臣之作威福，其害乎而家，兇乎而國(guó)。竊見(jiàn)左仆射、越國(guó)公素，幸遇愈重，權(quán)勢(shì)日隆，?

紳之徒，屬其視聽(tīng)。忤意者嚴(yán)霜夏零，阿旨者膏雨冬澍，榮枯由其唇吻，廢興候其指麾。所私皆非忠讜，所進(jìn)咸是親戚，子弟布列，兼州連縣。天下無(wú)事，容息異圖，四海稍虞，必為禍?zhǔn)?。夫奸臣擅命，有漸而來(lái)。王莽資之于積年，桓玄基之于易世，而卒殄漢祀，終傾晉祚。季孫專魯，田氏篡齊，皆載典誥，非臣臆說(shuō)。陛下若以素為阿衡，臣恐其心未必伊尹也。伏愿揆鑒古今，量為外置，俾洪基永固，率土幸甚。輕犯天顏，伏聽(tīng)斧锧。

什么意思呢？梁毗講，我聽(tīng)說(shuō)臣子，是不允許作威作福的，如果一個(gè)國(guó)家，允許臣子作威作福的話，那么必定天下大亂?，F(xiàn)在我們國(guó)家，有沒(méi)有哪個(gè)大臣作威作福呢？有啊，就是越國(guó)公尚書左仆射楊素，他倚仗陛下的寵幸，權(quán)力已經(jīng)大得沒(méi)邊了，所有的官員都要看他的臉色辦事。如果他喜歡的人，對(duì)人家像春天般溫暖；他不喜歡的人，就像秋風(fēng)掃落葉一樣無(wú)情。所以我們整個(gè)官僚系統(tǒng)，從現(xiàn)在都是受他的指揮。因此我覺(jué)得，這樣下去，有一天他會(huì)走上奸臣、權(quán)臣的道路。希望陛下能夠預(yù)先留心到這一點(diǎn)，鑒古知今，不要再給他這么大的權(quán)力，我知道我這話不中聽(tīng)，說(shuō)出來(lái)也許您不喜歡，但是為了國(guó)家利益，我萬(wàn)死不辭。這是梁毗的這一番高論。

要知道，當(dāng)時(shí)楊素可是炙手可熱的人物，首席宰相，梁毗這樣說(shuō)，不是找死嗎？果然，隋文帝大怒，馬上把他抓了起來(lái)，親自質(zhì)問(wèn)他，怎么可以如此誹謗大臣。

沒(méi)想到，梁毗毫不畏懼，當(dāng)面對(duì)隋文帝說(shuō)：

素既擅權(quán)寵，作威作福，將領(lǐng)之處，殺戮無(wú)道。又太子及蜀王罪廢之日，百僚無(wú)不震悚，惟素?fù)P眉奮肘，喜見(jiàn)容色，利國(guó)家有事以為身幸。

你審我嗎？我不怕你審，我這些意見(jiàn)就是要當(dāng)面跟你說(shuō)出來(lái)的，我確確實(shí)實(shí)認(rèn)為楊素是一個(gè)作威作福之人。我有充分的證據(jù)，證據(jù)是什么？陛下，請(qǐng)您想一想，當(dāng)年您廢掉太子楊勇和蜀王楊秀的時(shí)候，我們這些大臣，誰(shuí)不是覺(jué)得陛下家里出了這么大的事情，是一件非常讓人震驚、讓人恐慌、讓人難過(guò)的事？可是唯獨(dú)他越國(guó)公楊素，表現(xiàn)得是一副揚(yáng)眉吐氣、很得意的樣子啊。為什么??？他是盼著國(guó)家有事，好抬升他自己的地位??？陛下，這難道是一個(gè)忠臣應(yīng)有的行為嗎？梁毗這一點(diǎn)，說(shuō)得太厲害了。

這番話一說(shuō)出來(lái)，隋文帝真是傻在那里了。確實(shí)，此前隋文帝一直覺(jué)得楊素是在忠實(shí)地執(zhí)行著自己的命令，替自己把兩個(gè)不肖子都除掉了，所以才把楊素視為心腹重臣。如果按照梁毗的說(shuō)法，楊素有個(gè)人野心蘊(yùn)涵在里頭，那自己豈不是成了給楊素做嫁衣裳嗎？這讓隋文帝不寒而栗。