關於秦朝的迅速滅亡，一直流傳這樣一則謠言。說秦朝之所以迅速崩潰，在於其有數十萬大軍遠征嶺南未歸，致使其內部防衛空虛，才得以被山東六國起義軍推翻。之所以說這是一則謠言，是因爲這只是出乎一些人的臆想，而禁不起任何推敲。
而流傳最廣的一種說法，說這支滯留嶺南的秦軍有五十餘萬之衆。對此在《史記》中並沒有確切的記載，而在裴駰的《史記集解》中倒是有““五十萬人守五嶺”的註解。許多人就是依次而臆想，這五十萬人爲精銳秦軍。但是，五十萬軍隊於秦國爲何種概念?王翦滅楚時，向秦始皇提出“非六十萬人不可”。秦始皇極爲錯愕，更放心不下，這六十萬人已經是秦國的空國之師了。
秦統一六國之後，雖能動員的人力更多。但山東六國與秦國之間有着一兩百年的仇恨，而今又要忍受秦人的侵凌與奴役。所以，山東六國地區的百姓對秦人的仇恨與敵視，很難在短時間內消解。故而，秦王朝在短時期內只能依靠與信賴秦人去維繫其統治。而嶺南地區與秦地相隔萬里，不但秦朝很難在嶺南建立實效統治，即便一千兩三百年以後的宋朝，仍把嶺南視爲官員的流放之地。
大秦帝國那幫決策者，是要有多愚蠢?纔會把整個帝國最值得信賴與倚靠的精銳之師，發配到萬里之外，去戍守那瘴氣橫生、尚未開化之地?對秦人來說，以其有限的人口，就連東方六國的膏腴、繁華之地，都佔領不過來，又怎麼會抽調精銳之師去戍守嶺南?而在當時，就連與秦地相離較近、已得到很大程度開發的巴、蜀之地，都已經被秦人當作了流放之地。
其實，關於戍守嶺南這批人的成分，在《史記》中有明確的記載。據《史記·秦始皇本紀》記載：...三十三年，發諸嘗逋亡人(逃亡被抓者)、贅婿、賈人(商人)略取陸梁地(嶺南)，爲桂林、象郡、【集解】：韋昭曰：“今日南。”南海，以適遣戍。
可見，戍守嶺南的數十萬之人，壓根就不是秦軍精銳，而是東方六國中(秦人很少)那些社會地位最低階層。在嶺南稱帝的趙佗，便是趙(真定)人，這些人對秦國的“好感”可想而知。如果這批人回到了北方，不但不會挽救秦朝的滅亡的命運。反而，加入東方六國起義軍、加速秦朝的敗亡的可能性更大。
據《史記·南越列傳》記載：..南海尉任囂。病且死，召龍川令趙佗語曰：“聞陳勝等作亂，秦爲無道，天下苦之，項羽、劉季、陳勝、吳廣等州郡各共興軍聚衆，虎爭天下，中國擾亂，未知所安，豪傑畔秦相立。南海僻遠，吾恐盜兵侵地至此，吾欲興兵絕新道，自備，待諸侯變，會病甚。且番禺負山險，阻南海，東西數千裏，頗有中國人相輔，此亦一州之主也，可以立國...囂死，佗即移檄告橫浦、陽山、湟谿關曰：“盜兵且至，急絕道聚兵自守!”因稍以法誅秦所置長吏，以其黨爲假守...佗即擊並桂林、象郡，自立爲南越武王。
趙佗能輕而易舉掌握嶺南軍政大權，盡誅秦所置長吏，可見秦人的比例也應該微乎其微。再從秦末起義，及南越國最終滅亡的情況來看。戍守嶺南這五十萬人，如果數據確實，應該涵蓋了大量的後勤人員，而以南越國的實力，是絕對拿不出五十萬大軍的。
至於秦軍究竟哪去了?實際上，秦軍的主力就是在鉅鹿之戰中被項羽給消滅了。這不僅包括了秦軍王離統帥的長城兵團，在章邯的軍隊中也有大量的秦軍補給，如《史記·項羽本紀》記載：..秦果悉起兵益章邯，擊楚軍，大破之定陶，項梁死。
還有許多秦軍分駐各地險要，而被各地起義軍各個擊破，此類記載就更數不勝數了。如：項梁起東阿，西，至定陶，再破秦軍，項羽等又斬李由，益輕秦，有驕色.....沛公以爲詐，乃用張良計，使酈生、陸賈往說秦將，啗以利，因襲攻武關，破之。又與秦軍戰於藍田南，益張疑兵旗幟，諸所過毋得掠滷，秦人憙，秦軍解，因大破之。又戰其北，大破之。乘勝，遂破之等等。
