裕固族的祖先，可追溯至古代的回紇。回紇是古代突厥語“團結”“聯合”的意思，是他們的自稱。公元745年，建立了回紇汗國，汗國的疆域包括貝加爾湖以南，陰山以北，興安嶺以西和阿爾泰山以東的蒙古草原地區。在汗國存在的近百年中，草原上各遊牧部落以回紇部爲核心，逐漸融合團聚成爲統一的回紇族。從那以後，回紇已經成爲一個包括草原各遊牧部落的古代民族的名稱了。回紇汗國的歷代可汗都接受唐朝的冊封，成爲唐朝的屬國。
公元84O年，汗國在天災和外敵的夾擊下崩潰。部衆分幾支向西、向南遷徙，其中一支沿弱水南下到達了河西走廊的甘州(今張掖)一帶，被稱爲甘州回給，也就是日後裕固人的祖先。這支回紇人到895年佔領甘州城，建立了獨立政權。公元1208年，甘州回紇政權在西夏的進攻下崩潰，各部四散。其中一支退處敦煌以南，柴達木盆地以北，西到羅布泊、若羌一帶，自稱“撒裏畏兀爾”“撒裏”“黃”的意思，因此漢文史籍又稱其爲“黃頭回紇”。
公元1226年，撒裏畏兀爾人被蒙古軍隊征服。公元1368年，元朝滅亡，明朝在撒裏畏吾爾地區設置安定、阿端、曲充三衛。
15世紀初，塔里木盆地的葉爾羌汗國向東擴張，以武力推行伊斯蘭教，信仰藏傳佛教的撒裏畏兀爾人被迫東遷，當時關外一些蒙古部落也與他們一起東遷到了祁連山麓，由於長期與當地漢藏等民族共同生活而逐漸融合爲一個新的人們共同體——即今日的裕固族。
