至正十三年(1353年)六月，22歲的徐達聽說朱元璋回家鄉招募兵士的消息，毅然仗劍從軍，投奔朱元璋，他追隨朱元璋南征北戰的戎馬生涯從此開始。
他性格剛毅，於是善於思考，在明朝建立之前，長期擔任最高軍事統帥，歷經百戰，功勳卓著，“以智勇之資，負柱石之任”，“廓江漢，清淮楚，電掃西浙，席捲中原，威聲所振，直連塞外”，被譽爲明朝“開國第一功臣”。
至正十五年(1355年)春正月，因攻打和州有功，徐達被在滁州駐紮的朱元璋提升爲鎮府。正是在此期間，起義軍中發生了一件非常事件：孫德崖部因缺糧，來和州向朱元璋求援，朱元璋顧全大局，不計前嫌收留了他的部隊。不料郭子興與孫素有矛盾，將朱元璋訓斥了一頓，孫聽說後很擔心，想悄悄溜走，朱挽留不住，親自爲其送行。
朱和孫的部分部隊先行，出城後不久，城中有人來報，說郭子興和在城裏沒走到孫德崖部打了起來，孫被扣押。孫部下以爲郭子興和朱元璋密謀，將朱扣押起來當了人質。徐達聞聽，毅然請求代朱元璋作爲人質。朱元璋深受感動，後來事情平息後，他倆的關係更加親近了。
朱元璋建立大明後，徐達被封爲中書右丞相，兼太子少傅。洪武二年徐達率軍北征得勝後，朱元璋親自到龍江迎接，隨後大封功臣。徐達被授予開國輔運推誠宣力武臣，特進光祿大夫、左柱國、太傅、中書右丞相參軍國事，封魏國公，歲祿五千石，子孫世襲。
不過，在隨後文臣地位日漸提高的情況下，武臣慢慢受到冷遇。徐達作爲開國第一功臣，當然最遭猜忌。徐達追隨朱元璋數十年，早已摸清朱元璋心思。他力求避禍，處處謹慎小心。
洪武十七年(1384年)，星相學家稱：“太陰數犯上將”，應在徐達功高震主，由此，朱元璋明顯疏遠了他。正是在這一年，住在燕京的徐達北上生了個大癤子，名叫背疽，俗稱“搭背”。俗話說：“病怕無名，瘡怕有名。”徐達正是得了有名的癤子，可以說無藥可救。朱元璋很掛記他，便下詔讓他到京師養治。
洪武十八年(1385年)，徐達回到南京，在醫生的精心調治下，病情有所好轉。朱元璋聽說後，內心很高興，親自到徐達府上探望。見皇帝駕臨，徐達忙想下牀跪拜，朱元璋制止後在他的牀邊坐了下來跟他閒談。正在閒聊中，忽然發現他牀頭有一本兵書，臉色立即陰沉下來，一會兒便起身告辭。
回到宮中，朱元璋心神不寧，懷疑起徐達來，他決心要除掉這個可疑之人，以絕後患。於是派人給他送去一盤蒸鵝，其用意十分明顯。
徐達食用後，沒多久就死了。死後被追封爲中山王，諡“武寧”。賜葬鐘山，配享太廟，名列功臣第一。
