元朝戶部尚書張昶最早提出衛所。明洪武十七年(1384年)，在全國的各軍事要地，設立軍衛。一衛有軍隊五千六百人， 其下依序有千戶所、百戶所、總旗及小旗等單位，各衛所都隸屬於五軍都督府，亦隸屬於兵部，有事調發從徵，無事則還歸衛所。此法的實行，須有一套能保障軍隊數目的戶籍制度配合，來維持衛所制的運行。
明代的衛所兵制，實乃吸取中國歷史屯田經驗，是一種寓兵於農，守屯結合的建軍制度。朱元璋說：“吾養兵百萬，不費百姓一粒米。”
軍戶即戶籍種類屬軍籍之戶，初期的來源有二，一是元代原本的軍戶，二是現役軍人之戶，這在洪武二十一年(1388年)黃冊編造之後更加以確立。軍戶爲世襲，且管理頗嚴格，除籍十分困難，大致上除非丁盡戶絕、家中有人成爲高官或是皇帝敕免，是無法除軍籍的。儘管如此，日久軍戶仍日漸減少, 龐尚鵬主張：“清查隱佔，均平糧額，開墾拋荒最爲目前急務”， 因此後來有使因犯罪而充軍者入軍籍之方法，被稱作恩軍或長生軍。
