晉祠其實現在已經不能把它統稱爲唐叔虞祠，唐叔虞祠依然還在，在晉祠的北側，晉祠就是唐姓總祠堂。晉祠是晉水的發源地，晉祠在北魏前就已經開始修建了，是爲了紀念週武王第二個兒子唐叔虞，而修建供奉他的。唐叔虞是唐姓的一位始祖，唐叔虞死後，他的兒子燮繼位，因爲有晉水，所以把唐國改名爲晉國，所以叫晉祠，也可以叫唐祠。
關於唐叔虞，《史記·晉世家第九》中記載，邑姜夢到天對武王講：“餘命女生子，名虞，餘與之唐”，後來邑姜生子，手中有文“虞”字，便取名爲“虞”。武王崩，成王立，唐地反叛，被周公誅滅。成王年幼時曾與叔虞戲耍，削桐葉爲珪，交給叔虞，說道：“以此封若”，史官聽到後，請成王擇日立叔虞。成王說：“吾與之戲耳”。史官說：“天子無戲言，言則史書之，禮成之，樂歌之”，於是就把叔虞封到了唐。因唐地有晉水，叔虞子燮改國號爲晉。這就是著名的“剪桐封弟”的故事。
宋代之前，晉祠就是指唐叔虞祠，而且其位置就在今日之聖母殿。《水經注·晉水》載：沼西際山枕水有唐叔虞祠。宋太平興國九年趙昌言撰《新修晉祠碑銘並序》載：況復(唐叔虞祠)前臨池沼，泉源鑑澈於百尋;後擁危峯，山岫屏開於萬仞。整個晉祠內，唯有今日之聖母殿的位置能夠符合這兩個文獻的描述。到了元代至元四年(1267年)弋彀撰《重修汾東王廟記》時，唐叔虞祠已經改在今日坐北朝南的方向上了。唐叔虞究竟爲何失去了在晉祠的主神位?
一種可能的解釋是，唐叔虞其實是一個有“前科”的神。隋大業十三年(617年)，李淵任太原留守，郡丞王威、武牙郎將高君雅爲副，時逢隋朝江山風雨飄搖，狼煙四起。是年，馬邑校尉劉武周據汾陽宮舉兵反隋，李淵與王威、高君雅商議將集兵平叛，此時李淵已早有奪取天下之心，於是命李世民與劉文靜及門下客長孫順德、劉弘基去招兵買馬，不到半個月，李世民便募集了一萬兵馬，李淵又遣密使召建成和元吉二子來到太原。王威和高君雅見形勢不對，唯恐李淵造反，便想借請李淵赴晉祠祈雨的機會拿下他。晉陽鄉長劉世龍得知此事，密告李淵。五月，李淵將此二人斬首之後，在唐叔虞祠下誓師，第二年奪取了長安。唐貞觀十九年(645年)，李世民重回晉陽，次年詣晉祠，寫下不朽名篇《晉祠之銘並序》，這通碑如今還保存在晉祠博物館的唐碑亭內。唐叔虞固然沒有辜負李淵的期望一路保佑他順利地奪取了天下，但自己也背上了一個保佑造反的惡名。但如果認爲趙宋朝廷是因此將唐叔虞請走的，那何以在重修晉祠的時候沒有想到這一層，甚至在太平興國碑中，仍舊不遺餘力地稱頌唐叔虞“澤及民生”之德呢?
太平興國四年(979年)正月，趙光義經過充分籌備，第三次下河東。四月二十日，趙光義親抵晉陽城下，駐馬“汾東行營”(今太原市晉源區龐家寨東北，也就是後來的平晉縣所在)，親自督軍日夜不息攻打晉陽。五月，馬步軍都指揮使郭萬超降宋，城內糧草斷絕，人心渙散。五月初五日，劉繼元終於納表投降。但晉陽的苦難並沒有就此結束，劉繼元投降之後，晉陽百姓還在繼續抵抗，尤其是民間的習武組織“弓箭社”更是給宋軍制造了不小的麻煩，老百姓甚至拿磚頭瓦塊攻擊宋軍。趙氏兄弟費盡心機和氣力打下晉陽，本就怒火難平，百姓的抵抗更是火上澆油。趙光義大罵晉陽人是“盛則後服，衰則先叛”的頑民，竟然下令將晉陽所有百姓驅逐出城，在五月十八這一天，一把大火將千年古城化爲灰燼。老幼不及出城焚死者甚衆。
第二年，趙光義再次引汾、晉二水灌晉陽廢墟，終於連廢墟的痕跡也沒有留下。宋朝將太原府治移到北面20公里的唐明村，也便是現在的太原市，同時在“汾東行營”邊上築起一個周邊不過四里的小城平晉縣，禁止當地百姓返回晉陽故城居住，並將趙光義指揮作戰時駐紮過的行營改建爲統平寺，後來真宗趙恆將其改名爲崇聖寺，立“崇聖寺碑銘並序”碑於寺中，誇耀其平定北漢之功。平晉縣城建成70多年，晉陽人仍舊不肯進去居住，更多的人流落到河南等地。而那個帶有示威意味的統平寺也因多次被人暗中燒燬，終於罷祀了。趙光義攻下晉陽之後，還仿照李世民的《晉祠之銘並序》在晉祠立了一通“新修晉祠碑銘並序”碑，俗稱“太平興國碑”。傳說這塊碑的碑文被當地人逐字逐句地鑿掉了，現在晉祠勝瀛樓下立着一通光禿禿的“無字碑”，據說就是當初的“太平興國碑”。太原縣從明至清共五個版本的縣誌，只有嘉靖《太原縣誌》錄了這通碑文，其他縣誌對此隻字不提。而唐叔虞也正是在北漢被征服之後的最初這段時間被請出了正殿。
