馮玉祥有過顯赫的祖上，根據家譜歷代的記載，他的先祖馮如霖因屢建戰功，在同治七年七月初十的皇帝誥命中，被封爲振威將軍，夫人獲一品之殊榮。列祖中的建威將軍雨膏公:“偉哉將軍公忠爲國掃蕩煙塵縱橫南北”。鬆亭公:“幼年好學強壯從軍徵南掃北緯武經文”。鬱亭公：“壯年從軍功保副將”。藩卿公：“品貌堂堂徵南掃北有功不伐有才不狂”。
馮玉祥的家道是何時和因何敗落的，無從考證了，下面的故事從這裏開始：
清朝年間，在安徽巢縣竹柯村裏，有一個青年泥瓦匠，名叫馮有茂，他就是馮玉祥將軍的父親。
他在富人家做工，抽空“偷師”看少爺學武，自己暗中苦練。一次偶然被教練發現，覺得他很有上進心，徵得主人家的同意，收他爲徒，邊工邊學，武藝漸漸嫺熟，人也長得身強力大。後來他隨主人家的兒子們參加武試，少爺們都落了榜，而他卻中了武秀才。
馮有茂入伍後，編入朝廷重臣李鴻章淮軍轄下的銘軍。由於他武藝好，銳意進取，很快就成了一名下級軍官，輾轉江蘇、湖北、山東及甘肅等省，受盡跋涉飢困之苦。
馮有茂娶妻遊氏，他們共育七個男孩，長子基道，次子基善——即馮玉祥，其餘五個兒子小小年紀都因營養不良而夭折了。馮玉祥1882年11月6日(農曆九月二十六日寅時)出生於直隸(今河北)青縣興集鎮。乳名科寶，族名馮基善，字煥章，晚年號濟公，人們都喜歡稱呼他爲先生。馮玉祥出生後不久，馮有茂的部隊調往保定，這時他因功已升爲相當於連長的後營右哨哨官，他們的家安在離保定城二里遠的康格莊。
馮玉祥幼年不幸的是他的父母染上抽大煙的惡習，屢戒屢犯，戒菸時痛苦不堪的掙扎情景，令他幼小的心靈受到極大傷害，家裏經常不得不靠典當衣物和日常用品餬口，等父親開了餉再去贖回來，到月底揭不開鍋了又去當，惡性循環，搞得家徒四壁。他小時從沒穿過新鞋，他所穿的鞋，都是在舊貨攤上買的“二鞋”，就是人家穿過又經鞋匠縫補過的破爛貨。七八歲時，他就要找農活兒幫助家裏，大熱天鑽到密不透風的苞米地裏，幫人家剝用來喂牲畜的葉子，餓着肚子一干一天，身上劃出道道傷口，汗水一漬，渾身刺痛。雪上加霜的是母親在他12歲時又撇下他們父子病故。他所經歷的苦難，使他對鴉片有切膚之痛，對平民生存的艱辛有親身體會，後來領兵握權，他到處禁菸，與勞苦大衆血脈相連，立志救國救民，一生生活儉樸，這些思想作爲，可以說都源自於幼時的環境影響。
馮玉祥一輩子只上過一年三個月的私塾，這是他一生中僅有的一次正規學習。那是在他哥哥去當騎兵後，因學費已交了，他去替補讀完後半段。後來好不容易有個機會，兵營中出了空缺，管帶因與馮有茂日常關係不錯，有心照顧他家生活困難，就說把他兒子補了兵吧，隨手在花名冊上給他寫了個名字馮御香。日後有人說這個名兒太女人味兒了，便又改叫馮玉祥，以後就一直沿用了下來。字煥章還有個來由，那是他認得些字後看《彭公案》，其中有個人叫顧煥章，性極俠義，扶困濟貧，除邪鏟奸，又極孝順父母，友愛兄弟，馮玉祥羨慕他的爲人，就把煥章做了別號。
因年紀還小，馮玉祥入伍暫時不用到營服役，但按軍中恩餉制，可以享受每月領餉一份，雖然微薄，對窮家也不無小補。他年紀雖小，卻生得高大壯實，氣力過人，營中人叫他“馮大個子”。12歲時父親奉命修築大沽口炮臺，他也跟着去了，駐紮在曹頭沽、南港、雙橋等處。離他們施工20裏遠的海面上，就停泊着日本軍艦，從那裏開炮，可以直接命中大沽口炮臺。馮玉祥經常聽到營裏的人議論日本軍艦和外國欺侮中國的事，這種局面，在每個官兵的心上，都投下了恥辱的陰影。
馮玉祥一營人在極其艱苦的條件下整整幹了兩年，才修成大沽口炮臺。這一建築之堅固，堪稱全國首屈一指的海防工程。19尊嶄新的大炮，威風凜凜，都是李鴻章從德國買的。馮玉祥他們對自己的辛勞成果打心眼裏感到自豪。可是光緒二十六年(1900年)八國聯軍打進北京，慈禧太后倉皇出逃，李鴻章出頭議和的結果，是與列強簽訂了喪權辱國的《辛丑條約》，其中一條就是拆毀大沽口炮臺，而且以後永遠不準中國再在大沽口設置任何國防工事。各炮臺還沒一試，就要拆毀，消息傳來，馮玉祥內心十分痛苦。從這一刻起，他心中就埋下了有朝一日要雪國恥的決心，並在以後練兵中，都以日本爲假想敵。
