李善長的弟弟存義的兒子佑，是胡惟庸的從女婿，當胡惟庸叛逆案于1380年被告發(fā)時，就有人控告李善長也不干凈。那時皇帝對這些控告尚未有所舉動。1385年有人重新對李善長提出控告，這次的矛頭對準的是李存義父子?；实郯牙畲媪x發(fā)配到了崇明，對李善長仍沒有采取行動。這樣又過了五年，李善長年已七十七歲，都老到這個年紀了，他卻做出了一樁糊涂事。他在營建府第時，從信國公湯和那里借了三百名兵卒。湯和把這個消息秘密報告了皇帝，朱元璋對以前的這個股肱重臣生出了一份嫌惡。

1390年5月，京中一些被查處有問題的下級官吏和百姓將被發(fā)配邊境，李善長數(shù)次請求赦免一個叫丁斌的人，經查，丁斌曾經在胡惟庸家做事，朱元璋責令辦案人員好好審問丁斌，一審之下，他招供了一些李存義與胡惟庸交往的細節(jié)。于是朱元璋命把李存義父子重新押送來京審問，這一審，就牽連到了李善長。李存義供狀訴稱，胡惟庸早有謀反之心，曾經偷偷派存義去勸說李善長一同起事，李善長聽了大為吃驚，你說的都是些什么啊，那可是要株連九族的大罪！不久，胡惟庸又派李善長的一個故人楊文裕去勸說，許諾說，事成當以淮西地封為王。李善長沒有答應，但看樣子頗有些動心了。于是胡惟庸親自前往游說，李善長還是沒有答應。過了一段時間，胡惟庸又讓存義去游說，李善長聽了，長嘆一聲：我老了，等到我死了，你們好自為之吧！

這年6月，一名御史站出來彈劾李善長，劾狀稱，早在1385年，將軍藍玉出塞征討蒙古時，在捕魚兒海的一場戰(zhàn)斗中捕獲了一名叫封績的信使，當時這名信使的手中持有胡惟庸寫給元君的一封親筆信。但藍玉關于此事的奏報被李善長暗中扣下了。這時，李善長府中一個叫盧仲謙的奴仆也檢舉主人與胡惟庸經常一起密謀。主審此案的官員詹徽，原系李善長的政壇宿敵，此時已經做到了刑部尚書兼左都御史，這兩項官職兼于一身，使他打擊起敵人來得心應手。李善長被下獄，罪名是，“身為元勛國戚，知逆謀不發(fā)舉”，“狐疑觀望懷兩端，大逆不道”。欽天監(jiān)官員最會見風使舵，馬上上奏說，天上星宿有異象，當誅殺大臣。李善長于1390年7月被迫自盡，妻子、親屬七十余人均被處死。

一個七十七歲的老翁，替主子辦了三十九年差，到末了落得個全家誅戮，這樣的處置免不了招致時人批評。此案發(fā)生一年后，青年才子解縉以工部郎中王國用的名義起草了一篇題為“訴韓國公冤事狀”的奏章，嚴詞切責對李善長的不公。在他看來，李善長一案辦成這個樣子，實在是于理不通，于情不合，難以服眾，因為李善長犯不著冒這連坐之罪不檢舉，再說他也根本不可能從所謂的謀反中得到什么實際利益。朱元璋無話可駁，但也沒有追究解縉。