公元589年，隋滅陳之後，隋文帝楊堅採取平建康城邑宮室爲耕田的政策，下令毀去建康都城、東府城、丹陽郡城，城闕、宮殿、官署、軍營等均被拆除。盛極一時的建康官府建築，幾乎蕩然無存。在行政設置上，廢丹陽郡及丹陽、湖熟、江乘、臨沂四縣，將建康、秣陵、同夏三縣併入江寧縣。置蔣州，在石頭城內設蔣州治所和"揚州總管府"。隋煬帝大業初，改蔣州爲丹陽郡，統江寧、溧水、當塗三縣。
隋煬帝多次南下巡遊揚州，大業十二年，隋煬帝第三次駕幸江都。他畏於北方農民起義的發展，不敢北還。隋王朝所控制的地區，在北方只有東都洛陽及其他幾座孤城，在東南只有江都一隅之地。楊家天下出現土崩瓦解之勢。次年，太原留守李淵起兵佔據了都城長安，立隋煬帝的孫子楊侑爲帝，遙尊隋煬帝爲太上皇。江都更是人心惶惶。
隋煬帝晚年，既沒有像陳後主那樣做個長城公，也沒有把帶在身邊的毒藥派上用場。大業十四年(618年)三月，煬帝見天下大亂，已心灰意冷，無心回北方，但仍想遷都丹陽(今江蘇南京)，保住江南的半壁江山。隋煬帝派人過江去修治金陵的丹陽宮(今南京)，準備一待宮殿建好就遷過去。從駕的都是關中衛士，本來就思念家鄉，又聽說那邊戰亂頻繁，不知家人存亡，心中十分焦急。現在聽說隋煬帝要遷都丹陽，更加不滿。郎將竇賢竟率所部私自潛逃。隋煬帝急忙派人追殺竇賢。但是士卒仍然悄悄逃走，隋煬帝深以爲患。虎賁郎將司馬德戡平素很爲隋煬帝寵愛，這時也與虎賁郎將元禮、直閣裴虔通等密謀西歸。三人又碾轉招引，內史舍人元敏、虎牙郎將趙行樞、勳侍楊士覽等人都與之同謀。這些人日夜聚會，公開議論叛逃，竟無所畏避。有一個宮女聽到消息後對蕭後說："外間人人慾反。"蕭後說："你可以直接報告皇帝。"這個宮女就去報告隋煬帝。隋煬帝聞言大怒："你一個宮女，知道什麼國事，到我這胡說八道!"竟下令將這個宮女處死。以後又有宮女報告蕭後，蕭後說："事情到了這個地步，已經無可救藥了。你們也不用再說了，說了只會令皇帝煩惱。"自此以後，無人敢言。
宇文化及發動兵變，逼縊隋煬帝。這個雄心勃勃的帝王，死後連個像樣的棺材也沒有用上，由蕭後和宮人拆牀板做了一個小棺材，偷偷地葬在江都宮的流珠堂下。後陳棱集衆縞素，爲煬帝發喪，備儀衛，改葬於吳公臺下，衰杖送喪，慟感行路。
