裕固族的祖先可以追溯到公元前3世紀的丁零、4世紀的鐵勒和居住在色欏格河和鄂爾渾河流域的回紇。回紇是東部鐵勒(亦稱狄歷、敕勒、高車)的六大部之一。後來東部鐵勒在反抗東突厥汗國的鬥爭中，形成了以回紇爲核心的部落聯盟，被稱爲“九姓鐵勒”或簡稱“九姓”。8世紀中葉，回紇擊敗突厥在烏德勒山(今杭愛山支系)、溫昆河(今鄂爾渾河)建立回紇汗國。9世紀中葉，回紇汗國爲黠戛斯所破，回紇各部四處遷徙，其中一支投奔河西走廓，與早先遷來的部分回紇匯合，在這裏生息繁衍，成爲當今之裕固族。裕固族自稱“堯乎爾”，一般認爲這一名稱與歷史上的“黃頭回紇”和“撒裏畏兀”有密切關係。“黃頭回紇”是宋朝初期出現於塔里木盆地東南部的回紇分支。元初，在黃頭回紇居住的地區，又出現“撒裏畏兀”的族名。現在公認，元朝的撒裏畏兀就是宋朝的黃頭回紇。
元朝蒙古人征服撒裏畏兀後，在其地設立官府，進行統治。元朝崩潰，河西走廊又歸明朝管轄。明朝十分重視邊境的穩定，仍然任用元朝的降將鎮守邊疆。封撒裏畏吾地區的元將卜煙帖木爾爲安定王，並在撒裏畏吾地區設置具有軍事性質的行政單位：安定、阿端、曲先三衛，加上敦煌東南部的罕東衛，合稱“遠番四衛”統歸西寧衛管轄。
十五世紀中葉，各衛之間不斷髮生戰爭，特別是吐魯番日益強大以後，頻繁侵擾各衛，關外各衛相繼崩潰，紛紛要求向關內遷徙。
十六世紀初，撒裏畏吾人開始東遷。入關以後，裕固族又被稱爲“黃番”。清朝康熙年間，被劃分爲七族，即：大頭目家、楊哥家、五格家、八格家、羅兒家、亞拉格家、賀郎格家。大頭目被封爲“七族黃番總管”賜以黃馬褂和紅頂藍翎子帽。
民國時期，被稱爲黃番的裕固族又分爲兩族，一族稱黃黃番，即今日說屬於阿爾泰語系蒙古語族語言的一部分人;另一族稱黑黃番，即今日說屬於阿爾泰語系突厥語族語言的一部分人。1953年甘肅省酒泉專署主持召開了“祁連山北麓各族各界人士座談會”，會議統一了裕固族的民族名稱。大家充分討論後同意定名爲與自稱“堯乎爾”音相近的“裕固”二字作爲族名，兼取漢語“富裕鞏(堅)固”之意。
