徵南大將軍羊祜鎮守襄陽已久，兵強馬壯。而襄陽與吳國接壤，吳主孫皓是孫權的長孫。此人粗暴淫逸，貪杯好色，大失民心。羊祜本想乘機攻打東吳，但吳國左丞相陸凱是個很難對付的忠臣良將，所以不敢輕易進軍;現在陸凱去世了，又想伐吳，卻遇到益州兵變，攻吳計劃被再次耽擱下來。羊祜手下有個參軍叫王濬，平息益州兵亂後，成爲益州刺史，在軍中已樹立起一定威信。羊祜想和他共滅東吳，於是上表武帝。武帝便任命王濬爲龍驤將軍，監督樑益二州軍事。
燕人徐邈有個秀外慧中的女兒待字閨中。王濬出守河東時，正是少年英才，深得徐邈賞識。他暗中讓女兒在屏風後面觀看前來辭行的王濬。女兒告訴母親，這人日後必能成大器。於是徐邈將女兒嫁給了王濬。
再說王濬在長江上游打造戰艦，準備伐吳，不免有木頭隨江流下。吳國的建平太守吾彥有所留意，猜到晉國必然在密謀攻打吳國，於是加強建平守備，堵塞長江要道。此時吳主正大興土木，修建宮殿，並不顧及亡國之禍已在眼前。
羊祜爲準備平吳，很早就開始招徠吳人，收買人心。吳國人對他心悅誠服。接着他又嘗試收買吳國大司馬陸抗，兩人互有饋贈往來。不過陸抗赤膽忠心，憂國憂民，並不是賣主之人;可吳王卻懷疑他被羊祜收買。陸抗因此而抑鬱成疾，不久便與世長辭了。後來吳王任命陸抗的三個兒子統領部隊，但並非合適人選，這又讓吳國暗藏了一道危機。
機不可失。一直厲兵秣馬，蓄勢待發的羊祜便上表聖上，請求伐吳，不料卻遭遇賈充、荀勖和馮紞三人的極力反對。其他大臣也附和說秦涼地區的問題還沒有解決，不應該有東南戰事。武帝一陣猶豫後，只好讓羊祜暫緩進軍。
不料在咸寧四年(公元278年)春，等待出征的羊祜生了場大病。武帝前往探視，羊祜仍然堅決表達出希望伐吳的決心，武帝便從了他。無奈天不遂人願，不久羊祜就病得起不了身，於是推薦杜預爲鎮南大將軍，都督荊州事務。在杜預還沒離開都城的時候，羊祜就去世了，享年五十八歲。武帝憑弔時痛哭不已，追封他爲太傅，賜諡號。襄陽百姓聽聞羊祜去世都非常難過，紛紛立祠建碑，追念他的恩德。
由於西北之亂，晉朝一時沒有顧及到東吳，吳主孫皓高枕無憂，夜夜笙歌，宴會羣臣，還設置黃門郎十餘人。黃門郎就好似今天的間諜，專門監視那些喝醉酒失言的官員。一旦被揪出來就施以酷刑，弄得生不如死，成爲廢人。已是益州刺史的王濬，察知東吳的情況後就上奏朝廷，希望能迅速出征。武帝召集羣臣商議此事，賈充、荀勖等仍然極力反對，只有張華記得羊祜的話，贊成王濬的提議。一天，武帝和張華正在下棋，忽然從襄陽傳來急報，署名是荊州都督杜預。大概意思也是希望能迅速伐吳，機不可失。武帝看了後，順手遞給張華。張華一看，便將棋盤推開作揖道：“陛下聖明，國富民強，而吳主驕奢淫逸，殺賢臣良將，早已失去人心了，此時正是天時地利人和，請不要再猶豫了。”武帝當即決定：“明日就發兵攻打東吳。”第二天早朝的時候，武帝命令立即大舉進攻東吳，任命張華爲計算支出的尚書。賈充聽後忙上前勸阻，荀勖和馮歔也隨聲附和。武帝大怒斥責賈充，嚇得其他二人忙磕頭謝罪，醜態百出。武帝分別任命了各軍統帥，並授予太尉賈充爲大都督，總領各軍。
進一步被封爲龍驤將軍的王濬等這一天已經很久了。他領命後火速率軍乘舟東下，直抵丹陽，生擒吳國丹陽監盛紀。一鼓作氣的王濬軍隊順流而下，卻被吳國建平太守吾彥設置於江中的鐵索攔住了。不過這對早有準備的王濬來說並不是難題。他親自研究了這裏的地勢情況後，便想出了破鐵鏈陣的方法。第二天，他先派人做了十個大筏，上面綁滿草人;接着讓善水者在水中牽着大筏先行，遇到鐵錐，就用火炬和麻油點火燒燬鐵鎖，船就沒有了障礙。如此一來，軍隊便可長驅直下，不可抵擋。咸寧六年(公元280年)春天，王濬和廣武將軍唐彬率軍到達東吳的要塞西陵，迅速攻下城池，再乘勝攻下荊門、夷道二城，生擒吳國監軍陸晏和水軍統領陸景。江東由此大震，吳平西將軍施洪等也只有見機投降了。
鎮南大將軍杜預巧用計謀，將吳軍打了個措手不及;晉安東將軍王渾那邊也大敗吳軍;還有胡奮、王濬和王戎，一併攻下夏口、武昌。晉軍戰船大舉東下，所向無敵。可惜春季雨水瘋長，賈充便乘機提議罷兵，其實無非嫉妒他人功高罷了。幸好武帝沒有聽從賈充的言語。杜預這廂仍直接帶領各個統帥，揮軍直至秣陵。
東吳派遣丞相張悌及督軍沈瑩等率軍三萬，渡江迎戰。他們心知肚明，若是這一仗打敗了，東吳就大勢已去，於是個個奮勇迎戰，但仍不敵驍勇善戰的晉軍，結果還是大敗。晉將軍王濬，聽聞前方得勝的消息，便自武昌乘舟東下，直到建業(今南京)。
看來要滅吳國只是囊中取物了，但是這其中還出現了不少插曲。比如王濬初下建平的時候是受杜預管制的，而到建業時按規定又該受王渾管制。當時王濬到達西陵時，杜預命令他直接攻打秣陵。王濬隨即順流而下，將自動請降的吳國遊擊將軍張象收納，再直驅建業。王渾的特使邀請王濬去商議戰事，而王濬卻以風大不便停泊搪塞，王渾因此懷恨在心了。
這時吳主孫皓早已嚇得無計可施。他心亂如麻，得知晉將王濬已經逼近都城，還有晉琅琊王司馬伷從塗中進兵，馬上就要抵達近郊了。眼看朝不保夕，孫皓不得已下令起草降書，給王濬送去，並向司馬伷送交璽綬。王濬接到了降書，仍不罷休，仍率軍攻入都城，將吳主孫皓遣入自己營中，以禮相待。
晉朝廷得到消息後，羣臣紛紛前往祝賀武帝。武帝喜極而泣，說道：“這都是羊太傅的功勞啊!”
王渾和琅琊王司馬伷會合後將孫皓送入晉都。武帝下旨給孫皓賜爵，所有東吳的官員都量才而爲己用。
