1375年(洪武八年)，劉基雖然不良於行，仍然和所有在京官員一樣，參加元旦的早朝，隨後在奉天殿做了一首《乙卯歲早朝》，這雖屬於歌功頒德的應酬文字，但詩中仍可以看見劉基的心情。據說正月中旬，宋濂的門人劉剛來到劉基的住處，商請劉伯溫將宋濂一百多卷的作品，擇取精華部分編輯成書，以便誦讀，也請劉基爲新書寫一篇序文。他毫不猶豫地答應了。正月下旬，劉基感染了風寒，朱元璋知道了之後，派胡惟庸帶了御醫去探望。御醫開了藥方，他照單抓藥回來煎服用，覺得肚子裏好像有一些不平整的石塊擠壓在一起，讓他十分痛苦。
二月中，劉基抱病覲見朱元璋，婉轉的向他稟告胡惟庸帶着御醫來探病，以及服食御醫所開的藥之後更加不適的情形。朱元璋聽了之後，只是輕描淡寫的說了一些要他寬心養病的安慰話，這使劉基相當的心寒。三月下旬，已經無法自由活動的劉伯溫，由劉璉陪伴，在朱元璋的特遣人員的護送下，自京師動身返鄉。回家後，拒絕親人和鄉里爲他找來的一切藥石，只是儘可能的維持正常的飲食。
幾天之後，劉基自知來日無多，找來兩個兒子交代後事。交代完後事時，又讓劉璉從書房拿來一本天文書，對他說：“我死後你要立刻將這本書呈給皇上，一點都不耽誤;從此以後不要讓我們劉家的子孫學習這門學問。”又對次子劉璟說：“爲政的要領在寬柔與剛猛循環相濟。如今朝廷最必須做的，是在位者儘量修養道德，法律則應該儘量簡要。平日在位者若能以身做則，以道德感化羣衆，效果一定比刑罰要好，影響也比較深遠，一旦部屬或百姓犯錯，也較能以仁厚的胸懷爲對方設身處地的着想，所裁定的刑罰也必定能夠達到公平服人，和警惕人改過自新的目的;而法律若能儘量簡要，讓人民容易懂也容易遵守，便可以避免人民動輒得咎無所適從，又可以建立政府的公信力和仁德的優良形象，如此一來，上天便會更加佑我朝永命萬年。”
又繼續說道：“本來我想寫一篇詳細的遺表，向皇上貢獻我最後的心意與所學，但胡惟庸還在，寫了也是枉然。不過，等胡惟庸敗了，皇上必定會想起我，會向你們詢問我臨終的遺言，那時你們再將我這番話向皇上密奏吧!”最後於農歷四月十六卒於故里，享年六十五歲。六月，葬於鄉中夏中之原。
1513年(明武宗正德八年)，朝廷贈他爲太師，諡號文成。1531年(明世宗嘉靖十年)，因刑部郎中李瑜的建言，朝廷再度討論劉基的功績，並決議劉伯溫應該和徐達等開國功臣一樣，配享太廟。
