青銅時代晚期，日耳曼人居住在現今瑞典的南部、丹麥半島以及德國北部介於埃姆河、奧得河與哈次山脈之間。隨着鐵器的應用、經濟的發展和自然災害的影響，從公元前6世紀左右，日耳曼各部落開始南遷。汪達爾人、格庇德人及哥特人自瑞典南部外遷，佔據波羅的海南岸大體上相當於奧得河與維斯杜拉河之間的地區。早期的遷徙行動，也有向南和向西發展的。其結果是把居住現今德
國西部大部地方的凱爾特諸民族擠走了。公元前3世紀，他們沿着易北河南下到達波希米亞北部地區，又沿着薩勒河進入圖林根地區。公元前2世紀末，定居在日德蘭半島的日耳曼部落侵入地中海文化區域，直接同羅馬人對峙。公元前1世紀中期，大批日耳曼人從腹地出發來到萊茵河邊，同羅馬帝國不斷髮生軍事衝突。經過漫長的鬥爭，日耳曼部落的汪達爾人、勃艮第人和哥特人佔領了維斯杜拉河流域。公元前1世紀中葉，又將凱爾特人逐出，最終定居於萊茵河以東、多瑙河以北和北海之間的廣大地區。
公元前1世紀末，羅馬奴隸制共和國被帝國所代替後，遂將其北部直接爲鄰的日耳曼部落作爲征服對象。西元前9年，羅馬人自萊茵河拓展其疆域東至易北河，凱撒時代，日耳曼人已在萊茵河以西定居下來，向南則已達到多瑙河一帶了。他們與羅馬人之間最早的一次大規模戰鬥發生在西元前2世紀之末，當時辛布里人與條頓人聯合入侵高盧南部和意大利北部，但在前102及前101兩年中，全部爲馬略(,157～86?BC)所殲滅。羅馬帝國的征服目標是，佔領直到易北河的廣大日耳曼部落居住區，將其劃入帝國版圖，組成羅馬行省——大日耳曼尼亞。羅馬帝國集中力量把萊茵河區建成軍事基地。公元前12年，羅馬帝國在萊茵一線集中36個軍團，總兵力達30萬人，並在這一年開始了對日耳曼部落的征服戰爭。
戰爭初期，羅馬軍隊遇到了日耳曼各部落的頑強抵抗，損失慘重。公元8年，一支深入日耳曼腹地的羅馬軍隊受到了日耳曼諸部落的沉重打擊。羅馬人“艱難地去征服前進道路上的對手，而每一次勝利，他們都得付出血的代價。”然而日耳曼各部落的抵抗都是各自爲戰，沒有聯合行動。這使羅馬人可以集中優勢兵力依次進攻各部落。經過10餘年的戰爭，日耳曼部落大部分被征服。由於無力派出足夠的軍隊去佔領整個日耳曼人居住區，並對其實行有效的統治，羅馬帝國只得迫使被征服的日耳曼部落向帝國稱臣納貢，建立強制性的條約依附關係。
經過多年的鬥爭，日耳曼人逐漸意識到，要戰勝裝備精良、經驗豐富的羅馬軍隊，必須改變各個部落各自爲戰的渙散狀態。於是部落聯盟開始出現了。
公元9年秋，日耳曼各部落的戰士，在條頓堡森林同3萬羅馬軍隊遭遇，日耳曼人取得了重大勝利，羅馬3個軍團幾乎被全殲。這次勝利後許多日耳曼部落重新獲得獨立。這就決定了羅馬帝國的勢力範圍的邊界不是在易北河，而是仍然在萊茵河流域一線。
公元11年，羅馬帝國再次越過萊茵河，對日耳曼人發動新的征服戰爭，並取得了局部的勝利。公元17年，羅馬軍隊佔領施特拉斯堡、溫迪施和美因茨。但羅馬人已無力繼續深入日耳曼人腹地。在公元1世紀中期的幾十年裏，羅馬帝國逐漸把邊界推進到萊茵河東岸，從而加固了羅馬萊茵河——多瑙河邊界體系。公元1世紀下半期後，羅馬人開始在萊茵河東岸地區建立界牆。這意味着羅馬帝國最終結束了征服戰爭。
公元1世紀初，羅馬帝國正式把萊茵河與多瑙河上游劃入帝國版圖，建立了兩個行省：上日耳曼行省和下日耳曼行省。前者首府是美因茨，後者是科隆。兩省總督由當地羅馬駐軍的副將擔任。
2世紀在日耳曼地區發生了兩個重要的變化：首先過去分裂的日耳曼部落聯合爲大部落，其次日耳曼人越來越多地對羅馬邊界進行襲擊。這些日耳曼民族大遷徙的原因今天還無法斷證，可能的一個原因是隨着日耳曼部落經濟文化的發展、氏族公社制度的解體，部落上層渴望向外擴張掠奪新的土地和財富，部落下層民衆也因人口的增長不得不向外遷徙，尋求新的能夠謀生的土地。羅馬帝國正日益衰弱，無力抵禦外敵的入侵。或者有可能是饑荒造成的。總之從公元4世紀起，散居羅馬帝國境外的，以日耳曼人爲主的諸部落開始大規模向羅馬帝國境內遷徙。
公元376年，日耳曼民族的西哥特人部落受匈奴人襲擊，他們在獲得羅馬皇帝同意後，渡過多瑙河進入巴爾幹半島的色雷斯。第二年，西哥特人不堪羅馬人的壓迫又起義反抗。395年羅馬帝國分裂，西哥特人又與當地奴隸、隸農一起打擊西羅馬帝國。418年，在高盧西南部建立西哥特王國。繼西哥特人涌入羅馬帝國的日耳曼部落還有：勃艮第人、法蘭克人、東哥特人、盎格魯人和撒克遜人等。日耳曼民族大遷徙約持續了2個世紀，他們與當地的奴隸、隸農起義一起，摧垮了羅馬帝國，在羅馬領土上建立了許多日耳曼人王國，其中，法蘭克王國逐漸成爲日耳曼諸王國中力量最強的國家。
羅馬帝國在萊茵河下游的邊疆地區，面臨著法蘭克人的威脅。美因河流域在260年前後爲勃艮地人所佔，而位於黑森林地區的阿格里·戴可美特則爲阿勒曼尼人所據有。那些勃艮地人顯然是從德國東部區域遷來的。法蘭克人和阿勒曼尼人也許是兩個民族聯盟，他們在塔西圖斯時代，曾各據一方，儘管有些可能來自東部的移民雜居在他們中間。塔西圖斯所談到的那些生活于波羅的海沿岸的各民族在二世紀的後半期內曾向東南方遷移。因之，哥特人在此時期控制了烏克蘭和今羅馬尼亞的大部分地區;格庇德人佔有特蘭西瓦尼亞以北的山地;汪達爾人則成爲他們西部的鄰居了。
到500年之際，盎格魯人和撒克遜人已進入英格蘭，法蘭克人則擁有高盧的北部。勃艮地人佔居隆河流域一帶，西哥特人生活在他們的西邊。東哥特人定居於意大利而汪達爾人到達了非洲。507年，法蘭克人把西哥特人從其所佔高盧地區的大部地方驅逐出去。西哥特人在高盧的領土當時已由庇里牛斯山一帶擴展到羅亞爾河流域，他們被法蘭克人逐出以後，便進入西班牙，直到711年才被穆斯林全部消滅。568年倫巴底人進入意大利，建立獨立王國，到774年，這個王國被查理曼(742～814)滅掉。德國東部一些地區自從哥特人和一些別的民族離開之後，便被斯拉夫人佔領，斯拉夫人還向西擴張，遠達波希米亞和易北河流域。8世紀以後，日耳曼人收復了德國東部地區、下奧地利地區和施蒂里亞、卡林西亞的大部分土地，把斯拉夫人從這些地方統統趕了出去。
