在唐末五代時，藩鎮驕橫，兵亂頻仍，當時社會幾乎大家都當兵，讀書人像要沒有了。開頭軍隊還像樣，以後都變成了老弱殘兵。軍隊不能上陣打仗，便把來像罪犯般當勞役用。其時凡當兵的，都要面上刺花字，稱爲配軍，防他逃跑。如《水滸傳》裏的宋江武松一類人，臉上刺了字，送到某地方軍營中當兵做苦工，人家罵他賊配軍。這是遠從五代起，直到宋朝，沒有能徹底改。這樣的軍隊，當然沒有用。
其實這些軍隊，在漢是更役，在唐則是庸。而宋代之所謂役，在漢代卻是地方自治之代表。此種轉變，極不合理。只因積重難返，宋太祖也只能在這種軍隊中挑選一批精壯的另外編隊，就叫禁軍。禁軍的挑選，身長體重都有規定，因此禁軍比較像樣;不合這標準的，留在地方作廂軍。廂是城廂之義，廂軍是指駐在各地方城廂的。這些兵，並不要他們上陣打仗，只在地方當雜差。地方政府有什麼力役，就叫他們做。
照理，宋代開國第一件該做的事，便是裁兵復員。而宋代卻只照上面所說的這樣裁，至於復員則始終復不了。這也因宋代得天下，並未能真個統一了全國。他們的大敵遼國，已經先宋立國有了五十多年的歷史。所謂燕雲十六州，早被石敬瑭割贈遼人。當時內蒙大部、遼寧乃及山西、河北的一部分疆土，都在遼人手裏。北方藩籬盡撤，而宋代又建都開封，開封是一片平地，豁露在黃河邊。太行山以東盡是個大平原，騎兵從北南下，三幾天就可到黃河邊。一渡黃河，即達開封城門下。所以宋代立國時沒有國防的。
倘使能建都洛陽，敵人從北平下來，渡了河，由現在的隴海線向西，還需越過鄭州一帶所謂京索之山，勉強還有險可守;若從山西邊塞南下，五臺山雁門關是那裏的內險，可算得第二道國防線，要一氣衝到黃河邊，還不容易。所以建都洛陽還比較好。若能恢復漢唐規模，更向西建都西安，那當然更好。
但宋太祖爲何不建都洛陽西安，而偏要建都開封呢?這也有他的苦衷。因爲當時國防線早經殘破，燕雲失地未復，他不得不養兵。養兵要糧食，而當時的軍糧，也已經要全靠長江流域給養。古代所謂大河中原地帶，早在唐末五代殘破不堪，經濟全賴南方支持。由揚州往北有一條運河，這不是元以後的運河，而是從揚州往北沿今隴海線西達開封的，這是隋煬帝以來的所謂通濟渠。米糧到了開封，若要再往洛陽運，那時汴渠已壞;若靠陸路運輸，更艱難，要浪費許多人力物力。宋代開國，承接五代一般長期混亂黑暗殘破的局面，沒有力量把軍糧再運洛陽去;長安一片荒涼，更不用提。爲要節省一點糧運費用，所以遷就建都在開封。宋太祖當時也講過，將來國家太平，國都還是要西遷的。
在當時本有兩個國策，一是先打黃河北岸，把北漢及遼打平了，長江流域就可不打自下。這個政策是積極進取的，不過也很危險。假使打了敗仗，連退路都沒有。一個是先平長江流域，統一了南方，再打北方，這個政策比較持重穩健。宋太祖採了第二策，先平南方，卻留着艱難的事給後人做。所以宋太祖臨死，聽他母親話，傳位他弟弟趙匡義，這是宋太宗。太宗即位，曾兩次對遼親征，但都打了敗仗。一次是在今北平西直門外去西山頤和園的那條高粱河邊上交戰。這一仗打敗，他自己中了箭，回來因創死了。在歷史上，這種事是隱諱不講的。
只因宋代開國形勢如此，以後就不能裁兵、不能復員，而同時也不敢和遼國再打仗。因爲要打就只能勝、不能敗，敗了一退就到黃河邊，國本就動搖。在這種情形下，宋代就變成養兵而不能打仗，明知不能打仗而又不得不養兵。更奇怪的，養了兵又不看重他們，卻來竭力提倡文治。這也未可厚非，宋代就因刻意提倡文治，才把晚唐五代一段中國歷史的逆流扭轉過來了。在宋人只想把這些兵隊來抵禦外患，一面提倡文治，重文輕武，好漸漸裁抑軍人跋扈，不再蹈唐末五代覆轍。因此上養兵而愈不得兵之用，以後就愈養愈多。《水滸傳》說林沖是八十三萬禁軍教頭，實際上太祖開國時只有二十萬軍隊，太宗時有六十六萬，到仁宗時已經有了一百二十五萬。
所以王荊公變法行新政，便要着手裁兵。裁兵的步驟，是想恢復古代民兵制度，來代替當時的傭兵。但民兵制度，急切未易推行到全國，遂有所謂保甲制，先在黃河流域一帶試行。保甲就是把農民就地訓練，希望臨時需要，可以編成軍隊，而又可免除養兵之費。
論到募兵制，本來也非全要不得。在某種地方某種情形下，募兵也很有用。但須有一確定的敵人做目標，而且非打不可，在幾年內，定要把敵人解決。在這種情形下，募兵可以刻意訓練，及鋒而試，或許比全國皆兵制還好些。東晉的北府兵便是募兵，也曾建了奇功。但宋代的國防精神是防禦性的，不敢主動攻擊，用意始終在防守。把募兵制度與長期的防守政策相配合，這卻差誤了。一個士兵募了來，輕易不脫行伍，直養到六十歲，還在軍隊裏。其間只有二十歲到三十歲這十年可用，三十歲到六十歲這三十年，他已老了，而且在軍伍十年，精神也疲了。這樣的軍隊，有名無實，於是只有再招新的。因此軍隊愈養愈多，紀律又不好。隊伍多了，雖不易捍禦外侮，卻很能引起內亂。宋人最怕唐末五代以來的驕兵悍卒，但宋代依然是兵驕卒悍。國家不能不給他們待遇，而且須時時加優，否則就要叛變。政府無奈何，加意崇獎文人，把文官地位提高，武官地位抑低。節度使閒來沒事做，困住在京城，每年冬天送幾百斤薪炭，如是種種，把他們養着就算。養了武的又要養文的，文官數目也就逐漸增多，待遇亦逐漸提高。弄得一方面是冗兵，一方面是冗吏，國家負擔一年重過一年，弱了轉貧，貧了更轉弱，宋代政府再也扭不轉這形勢來。
在宋太祖時，因防兵卒驕惰，又規定禁軍分番戍守之制。地方兵廂軍是擺着無用的，各邊防守全須派中央禁軍去。但亦不讓其久戍，譬如今年戍河北的，隔一年調中央，又隔些時再調到山西，這又與漢唐戍兵退役不同。宋代是沒有退役的，不在邊防，即在中央，仍是在行伍中。如是則一番調防，在軍人只感是一番勞動，因此又要多送他們錢。因此宋代雖連年不打仗，而經費上則等於年年動員、年年打仗。軍隊老是在路上跑，並且又把將官和軍隊分開了。軍隊一批批調防，將官還是在那裏不動，如是則兵不習將，將不喜兵。這也是怕軍人擁兵自重，然而緩急之際，兵將不相習，也難運用。所以整個宋代，都是不得不用兵，而又看不起兵，如何叫武人立功?宋代武將最有名的如狄青，因其是行伍出身，所以得軍心，受一般兵卒之崇拜。但朝廷又要提防他要做宋太祖第二，又要黃袍加身，於是立了大功也不重用，結果宋代成爲一個因養兵而亡國的朝代。
然而宋代開國時，中國社會承襲唐末五代，已飽受軍人之禍了，所以宋代自開國起就知尚文輕武。宋太祖臨死有遺囑告訴他後人說：你們子孫相傳，絕對不能殺一個讀書人。他們牢守此家訓，都知尊重文臣士大夫。直到南宋，還是守着不殺士大夫的遺訓。豈止不殺，宋王室實在是懂得優獎文人的。因此過了百十年，能從唐末五代如此混亂黑暗的局面下，文化又慢慢地復興。後代所謂宋學--又稱理學，就是在宋興後百年內奠定基礎的。這一輩文人，都提倡尊王攘夷，明夷夏之分，又提倡歷史傳統，所以中國還能維持，開闢出自宋以下的下半部中國史，一直到現在。正因宋代人那樣尚文輕武，所以好鐵不打釘，好男不當兵的話頭，也就從那時傳下來。
