起源
府兵制源起於北魏時期鮮卑人當兵、漢人 務農的政策。府兵全家可以免除賦役，當兵成爲鮮卑人的專利，這政策明顯地帶有民族隔離的色彩。到了北周後期，迫於形勢，漢人也被募充作府兵。楊堅 爲北周大丞相時，就下令西魏 受賜鮮卑姓的漢人可恢復漢姓，開始破除了鮮卑人當兵、漢人務農的規定。隋開皇十年(590年)，隋文帝又下令府兵全家一律歸入州縣戶籍，受田耕作，變軍籍爲民籍，兵士本人則由軍府統領。這一改革措施不但使農業戶口大增，促進了農業的發展，而且更適應了民族融合和時代趨勢，有利於民族團結和國家統一。
含義
府兵本泛指軍府之兵。北魏在六鎮起義 後分爲東西魏。爲了與東魏 相抗衡，西魏宇文泰 於大統 八年(542)把流入關中地區的六鎮軍人和原在關中的鮮卑 諸部人編爲六軍。次年與東魏作戰，敗於洛陽邙山，損失 很大。爲了補充和擴大隊伍，以後幾年不斷收編關隴豪右的鄉兵部曲 ，選任當州豪望爲鄉帥。大統十六年 前，已建立起八柱國 (大將軍)、十二大將軍、二十四開府(又稱二十四軍)的府兵組織系統 。八柱國的設置乃模仿鮮卑拓跋部的八部制度，其中宇文泰實爲全軍統帥，魏宗室元欣 僅掛虛名，實際分統府兵的只有六柱國，也與周國 六軍之制相符。西魏恭帝 元年(554)，按照北魏早期所屬大小部落的姓氏賜諸將姓，作爲早已“滅絕”了的這些部落的繼承人，所統兵士也改從各自主將之姓，這就給府兵制塗上了一層鮮卑部落兵制 的色彩。
史書記載
由於記載不詳和分歧，有關隋以前軍府組織的某些環節不清楚。據記載，開府“二十四員分團統領，是二十四軍;每一團，儀同二人”。但開府和儀同是共領，還是分領一軍;儀同是否獨立置府領兵;當時軍府是否指二十四開府，或應包括儀同府;史籍記載上：“初置府，不滿百”或“合爲百府”之說是否可信，史學界對這些問題存在着不同意見。開府、儀同以下置大都督 、帥都督 、都督等分級督率，則是清楚的。隋代軍府有內府、外府(也就是內軍、外軍)之分，以驃騎將、車騎將軍 爲長、貳，有時也設置與驃騎府並行的車騎府。煬帝大業三年(607)改稱鷹揚府 ，長官爲鷹揚郎將 ，副爲鷹揚副郎將(後改鷹擊郎將)。
