朱元璋登基，任命李善長爲左丞相，徐達爲右丞相。李善長是朱元璋攻下滁陽後，接納下來的謀士，指揮作戰，組織供應，事事皆能妥善處理。還在朱元璋稱吳王 時，李善長便出任右相國，充分展現他裁決如流的才幹，爲功臣之首。洪武元年任左丞相，封韓國公，在朝廷上位列第一。徐達常年帶兵在外作戰，實權掌握在李善 長手中。之後，他的兒子李祺又被朱元璋招爲駙馬，權勢更加顯赫，成爲朝廷中掌握實權的淮西集團首領。
淮西集團勢力的日益膨脹，威脅到皇權。朱元璋對他頗存顧忌，於是在洪武四年，以年高有病爲名，讓李善長告老還鄉，時年五十八歲。其實，朱元璋早就有意撤換李善長，還曾經向劉基請教合適人選。
劉基說：“善長爲元勳舊臣，能調和諸將，不宜驟換。”朱元璋道：“善長屢言卿短，卿乃替他說情麼?朕將令卿爲右相。”劉基連忙頓首道：“臣實小材，何能 任相?”可能劉基預料到在淮西集團當權的情況下，必然會受到排擠，故而堅決不肯任相職。朱元璋又問：“楊憲何如?”劉基答道：“憲有相材，無相器。”朱元 璋又問：“汪廣洋如何?”劉基道：“器量褊淺，比憲不如。”
太祖又問及胡惟庸，劉基連連搖頭道：“不可不可，區區小犢，一經重用， 僨轅破犁，禍且不淺了。”朱元璋默然無言。但是後來朱元璋還是根據李善長的推薦，任用了善於逢迎的胡惟庸。劉基嘆道：“惟庸得志，必爲民害。”胡惟庸得知 後，便對劉基忌恨在心。不過，後來的事實證明，劉基的話還是有道理的。
因李善長的提攜，胡惟庸於洪武六年，進入中書省，與汪廣洋同 任右丞相，左丞相空缺。胡惟庸入相後，他的精明幹練很快得到朱元璋的賞識。這期間，胡惟庸還將自己的侄女嫁給了李善長的弟弟李存義的兒子李佑爲妻，結成姻 親，使得他與李善長關係更進一步。有這樣的元老重臣爲後盾，胡惟庸更加膽大妄爲。加上李善長的舊屬們也極力幫助他，胡惟庸可謂如魚得水。由於他逢迎有術， 漸得朱元璋寵任。到洪武十年，進左丞相，位居百官之首，獨攬丞相之權。
隨着權勢的不斷增大，胡惟庸日益驕橫跋扈，獨攬丞相大 權，生殺黜陟，爲所欲爲。內外諸司所上的奏章，胡惟庸必先取閱，對自己不利的，就隱匿不上報。他任意提拔、處罰官員，各地喜好鑽營熱衷仕進之徒、功臣武夫 失意者，都奔走於他的門下，送給他的金帛、名馬、玩好，不計其數。胡惟庸一時間權傾朝野，許多人都看他臉色行事，敢怒不敢言。
大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋
對於異己者，胡惟庸必定會打擊報復。之前，因入相問題，胡惟庸就與劉基有過節。恰恰甌閩間有一片空地名叫談洋，一向爲鹽梟佔據，劉基奏請設巡檢司進行管 轄，鹽梟不服，反而糾衆作亂。劉基兒子劉璉將實情上奏，沒有事先向中書省報告。掌管中書省的胡惟庸認爲劉基蔑視他，越加憤怒，於是唆使刑部尚書吳雲彈劾劉 基，誣稱談洋有王氣，劉基想據爲己有，用來修墓，應嚴加懲處。朱元璋便對劉基奪俸，劉基憂憤成疾，沒過多長時間就去世了。
大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋。誰知竟被胡惟庸聞知，忌恨在心，企圖誘使徐達家的守門人福壽謀害徐達。但因福壽揭發，未能得逞。可見胡惟庸氣量狹窄、心計毒辣。
對於胡惟庸的所作所爲，朱元璋也略有察覺，對他的擅權更是感到不滿。洪武十二年九月，又有阻隔占城貢使一事發生，胡惟庸等人未及時引見占城貢使，又與禮 部互相推卸責任，朱元璋一怒之下，將他們盡行囚禁，不難看出，此時胡惟庸已經受到朱元璋的嚴重猜忌。就在這年十二月，又查出汪廣洋被賜死時，有個從死的妾 陳氏，竟是獲罪後妻女並皆入官的陳知縣的女兒。朱元璋得知後，更爲震怒，說道：“沒官婦女只給功臣家，文臣何以得給?”敕令法司要徹底追查此事，因此從胡 惟庸以至六部堂屬各官都難辭其咎、負有罪責。此時胡惟庸的地位已岌岌可危了。
在胡惟庸已明顯失寵的情況下，大概是揣度到朱元璋的心理，洪武十三年正月，御史中丞塗節首先告胡惟庸謀反。與此同時，被謫爲中書省屬吏的御史中丞商暠，也揭發了胡惟庸的許多隱私。
朱元璋接到告變後，立即命廷臣進行審訊，隨即就把胡惟庸處死了。告變人塗節，也因朝臣參劾說他本來準備參加謀反，因事不成才告變，連同胡惟庸和另一主犯，曾與汪廣洋一同參劾李善長的御史大夫陳寧，同時被殺。
罪名升級，胡惟庸死後被誅九族
洪武十三年，胡惟庸被處死後，胡惟庸案遠沒有結束，對於胡惟庸的罪狀一直都在蒐集查證。
洪武十八年(1385)，有人告發李存義和他的兒子李佑，不僅是胡惟庸的至親，還曾經夥同胡惟庸謀逆。胡惟庸雖已被誅，李存義也必須連坐。這可是禍從天 降，並且爲禍不輕，李家揣揣不安。但是朱元璋對此事並未嚴懲，還特別下詔，李存義與李佑都免於死罪，只是被貶到崇明島閒住。可能是因爲李善長爲功臣元老， 朱元璋念及舊情，因而特地從輕發落。按理李善長受到如此殊遇，應該上書謝恩，但是李善長對此事全然不予理會，這種態度令朱元璋感到非常不快。
胡惟庸案的查證一直都在繼續着，並且有了新的進展。洪武十九年(1386)明州衛指揮林賢通倭事發，經審訊得知，他是奉胡惟庸的命令下海通倭的，胡惟庸 謀反案有了進一步的證明。洪武二十三年(1390)，又捉拿到奸人封績。封績本是元朝的舊臣，後來歸降於明，據說他經常往來於蒙、漢之間，曾經爲胡惟庸給 元嗣君送過信，胡惟庸在信中稱臣，並請元嗣君出兵爲外應。其實早在洪武二十一年(1388)，大將軍藍玉出塞時，在捕魚兒海地方就捕獲過封績，但是由於李 善長施加影響，並未上奏，就把封績給放了。直到這次，由於封績再次被捕入獄，李善長終於也被牽連進來了。
恰在此時，李善長爲了娛 老，大興土木，因缺少工人，向信國公湯和借用衛卒三百名，以供營建。以營卒爲工役，這種事情本是常事。但湯和膽小怕事，又不敢得罪李善長，因而表面應允， 暗中卻向朱元璋報告，這無疑是說李善長私自集結兵力。湊巧，京中吏民爲黨獄誅累，坐罪徙邊，約有數百人，中間有一個叫丁斌的，爲李善長私親，李善長便替他 求免。由於朱元璋對李善長的猜忌之心日重，他不但沒有答應李善長的請求，反而命令將丁斌拿獲。經審訊得知，丁斌偏巧曾經供事胡惟庸家，於是供出不少李、胡 兩家的往來之事。這樣，便認定了李存義、李佑父子夥同謀叛的罪狀，立即將他們從崇明島拘捕進京，重新審理定罪。
接着，朱元璋便頒 布嚴敕說，李善長以“元勳國戚，知逆謀不舉，狐疑觀望懷兩端，大逆不道”。真是欲加之罪何患無辭!於是，七十七歲的李善長被賜死，其妻、女、弟、侄等一門 七十餘人被殺。只有李善長的長子李祺及兩個兒子，因爲臨安公主的緣故，得以免死，流徙江浦。
然而胡惟庸的獨斷專行，使相權與皇權的衝突更爲明朗化了
與此同時，朱元璋又策劃陸仲亨的家奴告發陸仲亨與唐勝宗、費聚、趙雄三名侯爵，曾串通胡惟庸“共謀不軌”。一場“肅清逆黨”的政治運動鋪天蓋地而來，到處偵捕，牽 連蔓引，共有三萬餘人被誅戮。連一向與胡惟庸關係疏遠的“浙東四先生”也未能倖免，葉升以“胡黨”被殺，宋濂的孫子宋慎也牽連被殺，宋濂本人則貶死於四川 茅州。
爲了平服人心，朱元璋特地頒佈《昭示奸黨錄》，刊印多冊，發往各地，曉諭臣民，以此爲戒。胡惟庸案至此纔算告一段落，前後遷延近十年。
