日耳曼諸民族的族源尚無確說。據說是使用鐵器的北歐人與使用青銅器、操印歐語系的波羅的海南岸居民混合而成，青銅時代晚期，這些人居住在現今瑞典的南部、丹麥半島以及德國北部介於埃姆河、奧得河與哈次山脈之間的那片地方。
最早使用“日耳曼人”這個詞的是希臘歷史學家波希多尼。他在約前80年時第一次使用這個詞。也許他在與中歐的某一個今天無法考證的小民族接觸時聽到了這個詞並將它用來稱呼所有的日耳曼民族，有可能這樣一個小民族的名字後來成爲了整個民族羣的名字。
公元前51年愷撒在他的《高盧戰記》中使用了日耳曼人這個名稱。愷撒在東部高盧戰役中，將來自於萊茵河東部的已凱爾特化的對手及其他混合人口統稱爲日耳曼人。而在此爲前羅馬人將歐洲西部的民族稱爲凱爾特人，而歐洲東部的民族被稱爲賽西亞人。到此時爲止，羅馬人才認識到日耳曼人並非凱爾特人，而是一個獨立的民族羣。塔西佗說凱爾特人稱萊茵河以東的民族爲“日耳曼人”，後來這些民族自己也稱自己爲日耳曼人。根據這個敘述這個詞有可能是從凱爾特語過來的。嚴格地說只有從這個時候開始我們才能將這些民族稱爲日耳曼人。歐洲北部的青銅器時代的人幾乎可以肯定是日耳曼人。而所謂的戰斧人與日耳曼人之間的關係還有爭議。最新的理論通過對河流和地名的研究認爲日耳曼人的產生地在今天德國中部山區的北部。但大多數學者對這個理論持懷疑態度。
塔西陀時代，各個日耳曼民族都意識到彼此之間存在一種親屬關係。一些在羅馬軍隊中服役的日耳曼人有時會自稱爲日耳曼尼(Germani)，而那些生活在萊茵河以東的自由日耳曼人則沒有一個專門用來稱呼自己的集體名字，直到西元11世紀時，他們才採用了diutisc(現代德語deutsch，意爲“屬於人們的”)這個形容詞來自稱，由此這個詞才流行開來。至於Germani這個族名及該族所用語言，其確切涵義尚不可考。
