高宗龍朔元年，發兵遠征高麗包圍了平壤，但因同年十月鐵勒叛亂而不得不放棄繼續進攻。“時蘇定方奉詔伐高麗，進圍平壤，不克而還。高宗敕書與仁軌曰：‘平壤軍回，一城不可獨固，宜拔就新羅，共其屯守。若金法敏藉卿等留鎮，宜且停彼;若其不須，即宜泛海還也。’”此時，唐高宗已經放棄新攻下的百濟，要不是劉仁軌立主堅守，唐兵將全部撤離。
之後，唐與吐蕃、突厥不斷交戰
乾封元年又大舉東征高麗，並於乾封三年攻克高麗全境。但是一年之後，吐蕃攻陷安西四鎮。咸亨元年，派遣薛仁貴等率軍西征吐蕃，被吐蕃擊敗於大非川。此役，唐朝元氣大傷，兵力損失嚴重，攻勢戰略無法延續。“其後，新羅外叛，高宗將發兵討除。時文瓘疾病在家，乃輿疾請見，奏曰：‘比爲吐蕃犯邊，兵屯寇境，新羅雖未即順，師不內侵。若東西俱事征討，臣恐百姓不堪其弊。請息兵修德以安百姓。’高宗從之。”
到了武后時期，突厥中興，契丹、奚叛亂，因此，不能同時兼顧東西兩線。“臣聞吐蕃近日將兵圍瓜州，數日即退。或雲此賊通使默啜，恐瓜沙止遏，故以此兵送之。臣雖未信，然惟國家比來勁敵，在此兩番，至於契丹小丑，未足以此類，今國家爲契丹大發河東道六胡州綏、延、丹、儑等州稽胡精兵悉赴營州，而緣塞空虛，靈夏獨立。今冰生河谷，草秋馬肥，秦中北據隴右，亦關東臨黨，兇羯奸謀，覘知此隙，趨其醜類，大盜秦關、隴右馬羣，是國所寶，防備遠策，良宜預圖，不可竭塞上之兵，使兇虜得計。”
唐王朝與吐蕃
契丹等民族戰爭頻繁，衛士傷亡慘重，繼續補充，人民爲了躲避繁重的徭役和兵役而逃亡，使得府兵衛士得不到補充。玄宗天寶八載(公元 749 年)五月九日，因“折衝諸府至無兵可交，李林甫遂請停上下魚書”，玄宗下詔“停折衝府”。西魏宇文泰於大統十六年(公元 550年)創立風行華夏兩百餘年的府兵制最終壽終正寢。其後折衝府“但有兵額，其軍士、戎器、馱馬、鍋幕、糗糧並廢”。
府兵制廢除後，南衙禁軍仍然存在，左右金吾衛仍然忠誠地在京城與皇宮巡邏警戒而且仍然是朝會時的儀仗隊，甚至在文宗時參與了甘露之變。左右千牛衛仍然是皇帝的親近侍衛;親、勳、翊衛也仍舊上番京城，其職能與地位已被北衙諸軍所取代。唐代中後期的南衙禁軍猶如風燭殘年的老人，苟延殘喘地活着，直至最後消亡。
結語：
隋文帝改革北周二十四軍制度而形成了十二府，同時隋文帝又創立了太子十率，是爲唐代南衙禁軍的前身。而隋煬帝即位後，於大業三年(公元 607)改十二府制度爲十六府制，並對十二衛的建制進行了改革。隋文帝創立的十二府爲左、右衛府，左、右武衛府，左、右武侯府，左、右領左右府，左、右監門府，左、右領軍府，合爲十二軍。十二府中，左、右衛府，左、右武衛府，左、右武侯府和左、右領軍府是府兵衛士到京城上番的統領機構，統領到京城上番的府兵和內府衛士。
