中國先民自新石器時代開始就已經開始了水上活動和舟船的製造。在全國範圍內都可以找到一些新石器時代的舟船圖像和木製實物。特別值得一提的是，1977年在浙江餘姚的河姆渡新石器時代遺址中發現了一件距今約7000年的木槳。根據文獻和民族誌資料，新石器時代的水上工具主要是桴筏和獨木舟。在南方和東部海岸沿線這些水系發達、河湖密佈的地區，可能早已發生了水上戰鬥。
在夏、商、西周時期，中國的軍事活動主要集中在黃河中下游平原，文獻中只有一些關於利用舟船渡運軍馬的例子，如商末周軍於盟津渡黃河，周昭王南征楚國時濟渡漢水，都是依靠舟楫來運輸軍隊和車馬。目前還沒有發現這個時期曾進行水戰的記載。
水戰成爲中國歷史上重要的戰爭方式以及作爲軍隊兵種之一的水軍的出現，是在春秋時期開始的，首先發生在長江中下游的荊楚吳越地區。這一帶的江河縱橫交錯，湖泊密佈，居民善於“以船爲車，以楫爲馬”。春秋中晚期，位於長江中游的楚國日益強盛，而長江下游的吳國和越國也先後崛起，爲了拓展疆域、爭奪霸權，三國之間爆發了激烈的戰爭。他們都組建了專門從事水戰的部隊，並在戰爭中發揮了重要作用。
從公元前549年開始，舟師水軍第一次見於文獻記載，幾十年間，在長江中下游發生了多次水戰。由於水軍成爲專門的兵種，楚、吳、越之用兵往往水陸並舉，因此在這個時期出現了與“舟師”相對的“陵師”一詞，用來指稱傳統的陸軍。
在戰國時期，水戰仍然侷限於南方，中原列國基本上只是利用水道、依靠舟船運送軍隊和糧草，不過後來也慢慢發展開來。
