伍子胥的父親伍奢在楚國做太傅，當時與他一起當朝爲官的費無忌是個心術不正的小人。他爲了討好楚平王，把本來要給太子建迎娶的秦國美女轉而獻給了楚平王。
費無忌做完這事有些後怕，他擔心太子建日後繼位報復自己，於是便向楚平王誣告太子建謀反。伍奢爲人很正直，他對楚平王說：“大王，不是誰的話都能聽的，說太子謀反好像不合情理，他可是您定下來的接班人，有謀反的必要嗎?”
費無忌卻從中調唆說：“大王，您可別聽老伍的，他和太子建不是一般的關係，沒事兒他們總在一起喝酒，太子肯定是他給教壞了。他們的陰謀要是得逞了，大王您可就慘了。”說完還做了一個抹脖子的動作。楚平王剛得了美女，處處聽費無忌的，便把伍奢關進了監牢。
費無忌又說了：“大王您可別忘了，老伍可還有兩個兒子呀，那可都不是一般的人，如果不把他們殺掉，將來他們肯定要找您的麻煩。大王可以拿他們的父親做人質，召他們回來斬草除根。”楚平王便派人去召伍子胥和他的哥哥伍尚，說只要他們回來就放了伍奢。
伍尚得知父親被抓起來了，想立即趕回去。伍子胥說：“哥呀，楚平王叫我們回去，並不是真的要讓父親活命，只不過是怕我們逃跑了，以後找他的麻煩，因此用父親做人質騙我們回去。只要我們哥倆一到都城，就會一起被殺，連個報仇的機會都沒有了。我們不如一起投奔到別的國家，藉助他們的力量爲父親報仇。”
伍尚說：“我也知道回去救不了父親，但我怕今天父親叫我回去我沒有回去，以後也沒能爲父親報仇，那會被人笑話的。”他對伍子胥說：“你趕快逃走吧，以後爲我和父親報仇。我現在就回去，陪父親一起去死，我不能讓人家說我們老伍家的兒子不孝。”
伍子胥說：“你回去這是自投羅網，白白地搭上一條性命，何苦呢?”
伍尚說：“兄弟，別勸了，我拿定主意了，別忘了給我們報仇就行!”伍尚說完就走了。當使臣前來逮捕伍子胥時，伍子胥張弓搭劍對準使者說：“不要命的就上來吧!”使者一看這陣勢嚇得尿了褲子，一個勁兒地說：“別，我不是來抓你的，別誤會!”
伍子胥便乘機逃跑了。他聽說太子建在宋國，便逃奔到了那裏。伍子胥的父親伍屠聽說自己的兒子子胥已逃離了楚國，便嘆息道：“楚國的君臣這回可要遭罪了，我這個兒子可不是省油的燈!”不久，楚平王便把伍奢和伍尚給殺了。
伍子胥逃到宋國，正趕上宋國發生*，他又和太子建逃到了鄭國。太子建受晉頃公指使想在鄭國舉事，因事情泄露，苦命的太子建被殺死。伍子胥見大事不好，又汗流浹背地跑到了吳國。
在過楚、吳交界的昭關時，守衛昭關的將士想逮捕他，幸虧伍子胥從小就跑得快，要不就被抓住了。他跑到一條大江旁邊，再也無路可走。他站在那裏哀嘆道：“蒼天啊，難道今天就讓我喂王八了嗎?我可是大仇還沒報呢!”
這時江面上駛來一隻小漁船，這個船伕是個見義勇爲的人，他知道站在江邊的是受到楚國通緝的要犯伍子胥，就把他渡過江去。伍子胥感動得鼻涕一把眼淚一把的，解下身上的寶劍遞給漁夫說：“恩人呀，你看這把寶劍不錯吧?能值一百兩黃金，您拿去，買個好房子住住，要是不買房子你就買地，當個地主挺不錯的。”
漁夫不肯接受伍子胥的寶劍，說：“去去，別噁心我好不好?楚國一直懸賞捉拿你，說誰能抓到伍子胥，賞給他5萬石糧食，還封他爲爵，不止一百兩黃金吧?我救你是因爲知道你是冤枉的，雖然我挺窮的，可是咱人窮志不能短呀，是不是?”
伍子胥伸出大拇指說：“你行，要是楚國人都像你這樣，我也不至於落到這個地步啊!唉!做人的差距真是太大了。”伍子胥就這樣保住了性命，可是他還沒有走到吳國都城就病倒了，只好在半路上停下來。爲了活命，他端着一隻破碗去要飯，有時還要挨小流氓的欺負，那個罪遭得就別提了。後來，伍子胥終於到達了吳國都城，通過公子光見到了吳王僚。
這個時候，正趕上吳國和楚國因爲邊界問題打了起來。吳王命令公子光率領軍隊攻打楚國。攻克了兩座縣城後，公子光收兵回國。伍子胥對吳王說：“大王，先別收兵呀，楚國沒什麼了不得的，您派公子光繼續追擊，活捉楚平王。”
公子光卻對吳王僚說：“父王，您別聽老伍的，他父親、哥哥都被楚王殺了。他勸您攻打楚國，只不過是想利用我們報他的私仇而已。現在進攻楚國我覺得還不是時候。”
伍子胥是個聰明人，他看出來這個公子光懷有野心，他想殺掉吳王僚自己當老大，在這種情況下再勸吳王對外用兵是不明智的。要想早日借吳國的力量擺平楚國，必須幫助公子光當上國王。於是伍子胥就把一個叫專諸的勇士推薦給了公子光，讓他幫助公子光刺殺吳王僚奪取王位。有了伍子胥的幫助，公子光的政變成功了，他登上了王位，即吳王闔閭。
吳王闔閭當然忘不了伍子胥的幫助，讓他參與國家政事。伍子胥幫助吳王改革政治，發展生產，操練兵馬，勵精圖治，加強國力，並向闔廬推薦精通兵法的孫武爲兵馬大元帥。他與孫武統觀全局，爲闔閭制定了“西破強楚，北威齊晉，南服越人”的爭霸方略。
鑑於楚強吳弱的客觀形勢，伍子胥提出了一個疲憊楚軍的謀略，他說：“楚國的部隊雖然人多，但是他們沒有幾個好將領，大部分都是平庸之輩，平常窩裏鬥很厲害，幹正經事就不行了。如果把吳軍分爲三部分，輪番去襲擾楚軍，哪支部隊出擊，楚軍都要出來應戰。他們出來，我們就撤回來，他們回去，我們再出動。這樣一來楚軍必然疲於奔命。”吳王按照伍子胥這個計謀去辦了，果然很有效果。《左傳》記載：昭公三十一年(前511)秋，吳國入侵楚國，攻打夷地，侵襲潛地(今安徽霍山南)、六地(今安徽六安北)。楚國將領沈尹戍率軍前往潛地救援，楚軍一到，吳軍便迅速退回。
楚軍把潛地百姓遷移到南岡(今安徽霍山北)之後就全軍撤退了。緊接着，吳軍包圍了楚邑弦地(今河南潢州西北)，楚軍左司馬沈尹戍、右司馬稽又率軍前往救援，到達了豫章。待楚軍一到，吳軍又迅速撤軍。經過長時間的疲於奔命，楚軍隊伍裏傷病嚴重。
伍子胥和孫武還向吳王獻策說：“楚將囊瓦這個傢伙鉅貪，唐國、蔡國都很恨他。大王如果想大舉伐楚，一定要先得到唐、蔡這兩個小國的幫助才行。”闔閭依計，並聯合唐、蔡，孤立了楚國。
吳王闔閭九年(前506)，伍子胥與孫武等率大軍攻破楚國郢都(今湖北江陵紀南城)。這時，楚平王已經死了，伍子胥派人挖掘了楚平王的墳墓，把楚平王的屍體拖出來，狠狠地鞭笞了300下才住手。
擺平了西方的強敵之後，吳國東邊的近鄰越國強大起來了。越國和吳國素來有仇，公元前496年，吳王闔閭在一次和越國的戰鬥中負傷而死。兩年後(前494)，吳王夫差帶兵伐越，大敗越軍。越王勾踐帶着5000殘兵敗將退到會稽山，派大夫文種帶着厚禮去請和，請求允許越作爲吳的屬國。伍子胥看出這是越國的緩兵之計，因此勸夫差不要答應越國的請求。他對夫差說：“越王勾踐這個人是個老滑頭，他現在裝孫子，但如果你現在不消滅他，會後患無窮的。”但夫差這個時候被勝利衝昏了頭腦，他認爲越國已經被打服了，就答應議和，率軍回國了。
伍子胥氣得說：“今後越國用10年的時間休養生息、聚斂財物，再用10年的時間對它的臣民進行教化並加以訓練，這樣20年之後，吳國就要被吃掉了!”
此後越王勾踐臥薪嚐膽，表面上在夫差面前點頭哈腰，暗地裏卻不斷地發展自己的力量。而吳王夫差一點兒也沒有察覺，一心想向北攻佔齊國。伍子胥多次勸說吳王注意那個裝孫子的勾踐，但吳王夫差仍不以爲然。
公元前484年，齊景公死了，大臣們爲爭權奪利打破了腦袋，吳王便趁機興師伐齊。最後在艾陵(今山東萊蕪東北，一說是在今山東泰安東南)打敗了齊國的軍隊。此後，吳王夫差的腦袋更不清醒了，伍子胥再提勾踐裝孫子的事他轉身就走。
此後4年，吳王準備攻打齊國。越王勾踐採用子貢的謀略率領軍隊援助吳國，並用貴重的寶物賄賂宰相伯嚭。伯嚭便一個勁兒地在吳王面前替越王說好話。伍子胥規勸吳王夫差不要被越國表面上的順從所哄騙，應該趕快滅掉越國，但是吳王夫差還是不聽伍子胥的忠言。
宰相伯嚭在吳王面前進讒言說：“大王，伍子胥這個人可是個危險分子啊，我們必須防備他造反作亂。上次大王準備攻打齊國，他就極力阻攔，還散佈謠言說大王是個糊塗的人，希望吳國打敗仗來說明他是對的。如今大王您要親率軍隊討伐齊國，這個伍子胥卻躲在家裏裝病，恐怕他很快就要造反了。另外我派人暗中觀察伍子胥，發現他趁出使齊國的時候，把兒子託付給齊國人鮑牧。作爲一個臣子，在國內稍微有點不痛快就裏通外國，仗着是先王的老臣，因爲一時沒被重用就心懷不滿，這樣的人大王應該儘早採取措施啊!”
吳王夫差說：“是啊，這傢伙鬼點子挺多的，我也早就懷疑他了。”於是，吳王派人給伍子胥送去一把劍，說：“你就用這把劍自裁吧!省得你看什麼都不順眼。”
伍子胥接過寶劍，仰天長嘆道：“大王啊，我曾經輔佐你父親成爲諸侯中的霸主;當年許多皇子都爭着當太子，是我在先王面前冒死保舉你。你當了吳王之後，要把吳國分一部分給我，我都沒要。沒想到今天你聽信了奸臣的挑撥要處死我，我可真冤啊，死了都閉不上眼睛!”
伍子胥告訴他的手下人說：“我死了之後，你們要在我的墳上種上梓樹，長大了可以給他們做棺材;把我的眼珠挖下來掛在吳國國都的東門上，我要親眼看到越國滅掉吳國。”說完揮劍自殺了。
後來的事就像料想的那樣，夫差爭霸心切，於公元前482年率全國精銳部隊北上黃池(今河南封丘西南)會盟。越王勾踐伺機調集4~9萬大軍兵分兩路，一路斷吳退路，直搗吳都。
