宋軍背城立陣，側後無憂，並處於守勢，加上宋軍大陣對於正面的先天優勢，遼軍雖然有人數上的優勢，但擅長的迂迴包抄戰術無法使用，只有與宋軍做正面硬捍。在這點上從歷史戰績看，單純的正面接戰，遼軍鮮有勝績，形式對遼軍並不有利。因此，遼軍果斷做出全力一擊，將鐵林軍的重裝騎兵派上戰場，由統軍鐵林相公率領正面衝擊宋軍大陣，但事與願違。宋軍中軍主將魏能也率領精銳部隊對遼軍的攻擊箭頭展開反衝擊，在左右兩翼的配合夾擊下不但粉碎了遼軍的正面衝擊，保證了大陣正面的安全，並在反衝擊過程中一舉射殺遼統軍鐵林相公。遼軍主將被殺，全軍爲之氣沮，敗像已現。最終，在威虜軍城西的主戰場上，遼軍戰敗，準備從來路逃走，於是向西北的羊山方向撤退，宋軍兩翼秦翰和田敏的6000騎兵轉入追擊，尚未出動的預備隊李繼宣部也同時移向威虜軍城西北八里的赤虜屯住，並派出聯絡官跟隨秦翰部前進，隨時準備策應追擊部隊。
宋軍先期開赴羊山包抄的二楊所部沒有能參與威虜軍城西的大戰，遼軍的行動太過迅速，一到就打，一打就敗，一敗就逃，二楊所部的包抄任務就這樣變成了迎頭攔截的截擊任務。遼軍雖然主動撤退，但形式並不好，後有宋軍的追兵，前方還有沒有來及趕上威虜軍城西之戰的宋軍迂迴部隊二楊所部6000騎兵的正面堵截。遼軍面臨着被前後夾擊的態勢。
當遼敗軍取道羊山南麓漸次向西北撤退的時候，早就埋伏在這裏的二楊所部迎頭殺出，對遼軍展開正面攔截。後有追兵的遼軍正面再被攔住，走投無路的遼軍一下子迸發出強勁的戰鬥力，二楊雖然倚靠羊山展開阻擊，但仍被數量上佔有優勢的遼軍逐步擊退，被迫退出戰場。一部分沒有來得及後撤的宋軍死守羊山不退，最後全部陣亡。
二楊的正面阻擊雖然宣告失敗，但在使遼軍付出相當的代價同時，遲滯了遼軍的行動，爲追擊部隊的趕到爭取了時間。正當遼軍最終攻下羊山上的宋軍陣地時，一路尾追遼軍的秦翰部和田敏部追上了遼軍後衛部隊。李繼宣派住秦翰部的聯絡官也及時將這一情報通報給進屯赤虜並以其爲前進基地的李繼宣部。李繼宣得到情報後立即帶領自己的部下直撲羊山。在秦翰部咬住遼軍後一會兒，李繼宣部也追上了遼軍。
隨着二楊的退出、秦翰部和李繼宣部的相繼投入，形勢發生了轉變，宋軍由阻擊狀態變爲追擊狀態。剛逐走二楊的遼軍轉眼就被秦翰部和李繼宣部趕上了羊山。而此時，秦翰部悄然退出了戰場。對於秦翰部來說，已經經歷了在威虜軍西與遼軍大戰，再在追擊後獨自與遼軍作戰已經使得其力不能支了，因此在友軍到達後退出戰場也屬於情理之中。連經惡戰的遼軍此時已經無心戀戰，而李繼宣部原本就是宋軍最強悍的部隊之一，這次戰役中又是作爲預備隊一直沒有參戰，在一整天的養精蓄銳後正是鬥志昂揚的時候，終於找到了用武之地。之後的戰事成爲李繼宣部的獨舞。他們趕着遼軍從羊山南麓轉過山脊，追殺到北麓。戰鬥中，身先士卒的李繼宣多次因爲戰馬中箭而更換戰馬。最終在牟山谷，李繼宣部追上遼敗軍主力並殺入，取得了巨大的戰果後，剩餘的遼軍逃向了八里外的遼國邊界。而在李繼宣部帶着滿身征塵和豐碩的戰果回到前進基地赤虜的時候，天已經開始黑了。
十月十六日一天的戰鬥，宋遼雙方首戰長城口，次戰威虜軍，三戰羊山，最終以宋軍擊退遼軍、斬級二萬、陣斬遼統軍鐵林相公以下將領十五員的輝煌勝利告終，這在宋軍對遼長達四十年的戰爭歷史上也是少見的。此戰的勝利，要歸功於宋軍中級指揮官羣體的合理決策和豐富的作戰經驗。
戰後呂蒙正領百官向真宗祝賀，真宗下令桑贊部1萬人開到邊境，而前陣軍後撤休整。威虜軍之戰以宋軍勝利而告終!但王顯仍然作了檢討，表示情報失誤，駐紮中山的中軍主力沒能及時趕到出戰，否則戰果會更大。呂蒙正也指出“......邊臣若偵候無差遵守成算克敵必倍......”但真宗還是很大度的給與了褒獎。
