1912年2月12日，清帝溥儀宣佈退位。消息傳來，馮玉祥於大年初三(2月20日)登上去北京的火車。馮玉祥到了北京，先在西單橫二條的京畿軍政執法處住下，在此與李鳴鐘不期而遇。李其時正在執法處當衛士，是馮到北京後見到的第一位他的“二十鎮”袍澤。
2月29日，駐防京畿的陸軍第三鎮發生兵變，北京四城火光沖天，變兵大肆搶掠。兵變平息後，袁世凱對京師的拱衛不再信賴北洋六鎮，決定編練中、前、左、右、後5路備補軍，即禁衛軍之前身，委陸建章爲左路備補軍統領。
左路備補軍轄中、前、左、右、後5營，馮玉祥被任命爲前營(二營)營長;每營轄中、前、左、右、後5哨(連)，哨官相當連長;每哨轄3排，每排轄3棚(班)。
雖然馮玉祥被委以二營營長，手下還沒有一兵一卒，便着手去直隸景縣招募新兵，隨行的有中營(一營)前哨哨長宋哲元。3月5日，馮玉祥前往景縣募兵，到10日爲止，順利招滿一營新兵。應募的新兵全部是貧苦農民和手工業者，曾經當過兵的一個不要。要甄別後者，馮玉祥就提出了一個簡易辦法：令應募者站成一列，突然大呼一聲口令“立正”，大凡當過兵的，會本能地做出“立正”動作。此次景縣招募的新兵中，有不少人日後成爲西北軍著名將領，如孫良誠、劉汝明、佟麟閣、程希賢、韓佔元、劉玉山、李長清、曹福林、安樹德、張俊聲、陳新起、張德順等。
馮玉祥帶隊回到北京，於正式編隊之前，先在南苑軍營對新兵進行爲期5天的簡單訓練。這時的新兵沒有軍裝，更沒有武器，一個個蓬頭垢面，鶉衣百結，走到街上，猶如乞丐。用馮自己的話說：“怎麼看也像一羣叫花子，我自己就像一個花子頭。”
馮營在南苑滯留期間，仍有人前來應募，如石友三、過之綱、馮治安等未來的西北軍將領。
在進行術科教學中，爲便於士兵牢記訓練要領，馮玉祥親自編寫了三首軍歌：《戰鬥動作歌》《射擊軍紀歌》和《利用地物歌》，這三首歌后來成爲馮軍著名的“三大軍歌”，歌詞摘錄《典範令》的要點，曲譜則借用基督教讚美詩的旋律。
半年之後，馮營告別三家店，移駐北京平則門(阜成門)內，仍一邊訓練，一邊守護設在北京城西南隅工部王恭廠的舊火藥庫。馮玉祥爲官兵編纂一本名曰《精神書》的小冊子，其中分“道德精神”、“愛國精神”和“軍紀精神”三部分，凡80餘條，每條都是格言式或語錄式的條目，“有過必改，過則勿憚改。人非聖賢，孰能無過?過而能改，勝於無過。”“古今英雄，百戰而不死，非是怕死，乃是真不怕死。”這些條目官兵都要朝夕誦讀，會背會講，此後的西北軍也是如此。以致後來祖父韓復榘主魯時期，還能對《精神書》倒背如流。
1913年3月，一位19歲的學生在北京投效左路備補軍第二營中哨充親兵，這位年輕人就是後來的西北軍名將葛金章。
這年春天，左路備補軍訓練告一段落，二營一部留在城裏擔任勤務，負責城防，兼爲外交部大樓等政府重要機關站崗;一部仍返回三家店守護陸軍部軍械局。韓復榘隨營部駐城內。9月，左路備補軍奉命改編爲“京衛軍”，下轄左翼第一團和左翼第二團，陸承武營擴編爲左翼第一團，陸任團長;馮玉祥營擴編爲左翼第二團，馮任團長。
爲了擴編部隊，馮玉祥帶上李鳴鐘等幾位官佐頭目赴河南郾城一帶募兵。李是河南沈丘縣人，不到兩個星期，便招足1600名新兵，其中有吉鴻昌、樑冠英、張凌雲、田金凱、趙廷選、魏鳳樓、程心明、雷太平、雷中田、田春芳、李團沙、李曾志等，這些河南籍的新兵後來都成爲西北軍第二代著名戰將。
另外，席液池、韓德元(韓佔元的胞弟)、丁漢民、曹夢九等雖不是這次招的，不夠兵格，但被收在軍營伙房內當伙伕，3個月後補爲哨兵。馮玉祥在第十六混成旅第一期模範連當學兵期間，祖父韓復榘是他們的上級排長。
不久，馮營奉命開往北苑訓練兩個月，其間新兵開始編製成營，每人領到一套黃色布軍裝(戲稱“黃馬褂”)，每哨發90支破舊的老槍，分單筒毛瑟步槍和雙筒毛瑟步槍兩種。馮治安初爲伙伕，後補前哨哨兵。石友三初爲馬伕，後補左哨哨兵。
5月中旬，馮營開往京西三家店，一邊訓練，一邊守護陸軍部軍械局。
這時，居家的祖父韓復榘聽說老管帶馮玉祥在北京又當上營長，時下正在邀集舊部，趕緊於6月初離家，很快就在京西三家店找到了馮玉祥。馮玉祥先安排祖父在二營任什長，未及1月，又讓他做起老本行———營部司書。
馮營在三家店駐紮半年，其間又有一些前二十鎮袍澤前來投效，如趙席聘、谷良友、張維璽、馬式彬、馮安邦等，初皆委以什長，旋即升爲哨長。是時過之綱、孫良誠、韓佔元、佟麟閣、劉汝明、程希賢、李長清、劉玉山、席液池等皆升爲什長。
馮玉祥首先在營中成立三個講堂：官長講堂、頭目講堂和特別兵講堂。祖父韓復榘在官長講堂聽課。馮玉祥又創建“拳擊技術班”和“器械體操班”，旨在加強官兵體質鍛鍊。什長以上官佐有“圖上戰術課”。
不久，馮玉祥把新兵帶回北京，先安置在順治門(宣武門)外的一座大廟裏住下，隨即編製成團。
“老二營”擴編爲團後，祖父韓復榘向馮玉祥明確表示：志在帶兵打仗，不願再做案頭工作，馮玉祥便調他到二團二營六連任排長。
馮團編制完成後，即開往北苑訓練3個月。1914年初，馮團又調進城裏朝陽門內東四祿米倉駐防。由於這裏長年無人居住，環境骯髒陰冷，很多官兵都病倒了。不久，追繳白朗的命令下達，馮玉祥就帶着這支剛組建的部隊出征了。
