宋王朝的建立，結束了自唐末而形成的四分五裂的局面，使中國又歸於統一併逐漸進入中國經濟、文化、科技的鼎盛時期。唐朝最盛時有五千多萬人口，宋朝人口最盛時突破一億。宋人有曰：“生民以來，能濟登茲者，未有如大宋之隆也。”
在宋朝建立之初，爲使宋王朝能長治久安，而不致成爲繼五代後的第六個短命王朝，北宋王朝除了制定了一系列的政策方針，大力實施“強幹弱枝”政策之外，還致力於結束五代十國的分裂割據局面，特別是當宋太宗聽說，當時仍被北漢統治的晉陽出過好幾個皇帝，是個“龍城”之後，更是親自帶兵攻下太原城，併火燒太原城，再水灌太原城……
太原古稱晉陽，它西依懸甕山、東臨汾河水，地勢十分險要，城堡十分堅固。晉陽城城池堅固，唐以後的五代，這裏幾度被一些野心軍閥作爲割據稱雄的堡壘，稱王稱霸，自立爲帝。太原經歷了後唐、後晉、後漢、北漢等幾個王朝。
979年，宋太宗親率大軍，來到太原城下指揮攻城。晉陽城高大堅固，使得宋軍損失慘重，內外馬步軍都軍頭王廷義，殿前指揮使部虞侯石漢卿陣亡，大將李漢瓊、荊嗣、呼延贊、韓起重傷，以下將士傷亡者更多不勝數。當時，主要是由於宋已統一中原，平定南方，傾全力攻晉陽一城，晉陽孤城難守，北漢主纔不得已降宋。自此，北漢十州全部歸入宋的版圖。五代十國時期最後一個分裂的小王朝被消滅了。
太原城被攻破之後，宋太宗趙光義決定平毀太原城，這是出於多方面考慮的。首先是晉陽城城池堅固，易守難攻，宋軍強攻晉陽造成損兵折將，損失慘重，故宋太宗決心徹底平毀晉陽城以消心頭之恨。其次是當時的李唐是從晉陽起兵而奪取天下，到唐末五代一些割據者又據晉陽爭奪天下，或抗衡中原王朝，望氣者認爲晉陽有王者之氣，這是宋太宗要嚴加防範的。再次是宋太宗繼位時，多有道教人物相助、道教附會天象認爲：宋起之地爲歸德 (今河南商丘市)屬於“商星分野”，而太原則屬於“參星分野”，自古參商不相見，這樣，當中央政權強盛時，太原地區最後才服從，而當中央政權衰弱時，太原則將最先叛亂，因此，不宜把太原列爲方鎮，應當降低它的等級。
鑑於上述原因，宋太宗決定平毀太原城，讓居民遷往汾水東的新城，把新設立的幷州府遷到榆次。居民出城後，宋太宗下令放火，“萬炬皆發，宮寺民舍，一日俱盡”。第二年四月，宋太宗又封堵汾水、晉祠水，灌入太原。古太原城經此火燒、水灌，變爲一片廢墟。往日被譽爲“錦繡太原城”，並已逾千年的大都會便不復存在了。
太原舊城被毀後，宋太宗又命將太原治所從榆次遷到唐明鎮(即今太原市)。逃出城的百姓逐漸聚集到這裏定居下來。由於此處地理位置十分重要，982年(宋太平興國七年)，宋太宗趙光義派三交都部署潘美在唐明鎮的基礎上，擴大範圍，修築城牆，興建太原城。宋初修建的太原城是一座土城，城池周長5.28公里。築四門：“東曰朝曦;南曰開遠;西曰金肅;北曰懷德。城西南至現迎澤大街北邊，西至現新建路東邊，後小河、東後小河是當時北面東邊的城壕。據說趙宋在新修太原城街道時，都築成丁字街，取其諧音，“釘”破“龍脈”，使太原不再出現“真龍天子”，危及趙宋天下。並忌諱使用“晉陽”、“太原”名稱，而設爲緊州軍事，派潘美、楊業把守。
金代詩人元好問《過晉陽故城書事》在講到此事時說：“南人鬼巫好機祥，萬夫畚鋪開連岡。官街十字改丁字，釘破幷州渠亦亡。”舊的晉陽城平毀了，但太原的戰略地位並沒有變，當時遼據大同，建遼契丹又爲遊牧民族，其騎兵可以隨時南下太原，太原街道修成“丁”字形對阻遏遼騎兵的馳騁是起了積極作用的。
