羊祜之家族世代爲官，與魏國的曹氏和司馬氏都是血親，這樣的家庭背景和先天優勢可使他不費吹灰之力就脫穎而出。可是羊祜的人生軌跡並沒有按照我們的習慣思維來運行，這讓當時的人們不能理解甚至覺得他不可理喻。
羊祜博學多才、文思敏捷，長於論辯，而且英俊瀟灑，於是地方長官推舉他任上計吏之職。這雖是個掌管國家財賦統計和審計的低層官員，但由於崗位特殊，關係重大，所以倍受朝廷重視。但羊祜對此卻沒有興趣。可不把他舉薦上去，地方官就有失察之過，於是地方官就請他出來擔任從事以及秀才，羊祜仍一一婉拒了。
239年，魏明帝曹叡去世，大將軍曹爽掌握了實權。爲了充實政權班底，他徵召羊祜到中央政府任職，羊祜仍然辭不赴命。後來，大權獨攬的司馬昭又徵召羊祜到朝廷爲官，羊祜依舊退避三舍。最後，司馬昭只好下詔，命令他必須遵旨去做中書侍郎，羊祜這才接受任命。
司馬炎稱帝后，羊祜因功進爵爲郡公，食邑三千戶，可他卻堅決辭讓這些封賞，稱：“昔張良請受留萬戶，漢祖不奪其志。臣受鉅平於先帝，敢辱重爵，以速官謗。”別人都不擇手段地爲自己加官進爵，他卻執意爲自己退官，司馬皇帝被他的誠懇深深地感動了，只好給他降了一級，封爲侯爵。
羊祜一生中有多次晉升的機會，但每次都被他這樣誠懇地婉拒、辭謝掉了。不過有的時候，羊祜卻又特立獨行勇往直前，令人瞠目。
249年，司馬懿奪取軍政大權，並誅殺曹氏集團的代表人物曹爽，與之相關的很多人都受到株連。羊祜的岳父夏侯霸害怕遭到殺戮，就投降了蜀國。這可是叛國之罪啊!親戚故舊們都知道其中的利害，再也不敢上門，唯有羊祜反而比以往去得更勤，唯恐夏侯家遭到不測。
277年，東吳侵入西晉邊界，掠走弋陽、江夏等地大量人口。這要換成其他人，免不了要興師動衆反擊東吳的挑釁行徑。因爲這其中有諸多好處：一是可建軍功，二是可堵住百姓的嘴，第三也是更重要的，可以堵住朝廷中那些專事吹求的百官的嘴。可慎重考慮之後，羊祜卻沒有派出一兵一卒。事後，司馬炎在一些好事之臣的鼓譟下派人追查原因，羊祜坦然地說：“江夏距離襄陽八百多裏，等到得知東吳犯境侵擾這個消息，敵兵早已走了多時。這時候出兵能救得了百姓嗎?爲了逃避責任而讓將士們毫無意義地千里奔波，這純粹就是削弱自己，而於敵人有何妨礙呢?這恐怕不是負責任的主帥應該做的。”司馬炎聽後，認可了羊祜的處置。
長期領兵在外，最忌朝中有人進讒言，因此，爲了自保，大家都想盡辦法努力與朝中大臣搞好關係，特別是得寵的權臣。王衍在朝中也有一定影響，而且是羊祜的叔伯外甥，曾經專門來襄陽拜見羊祜。這不正是個大好機會嗎?可羊祜偏偏哪壺不開提哪壺：“王夷甫方以盛名處大位，然敗俗傷化，必此人也。”惹得王衍拂袖而去，給自己增加了一個狂犬吠日的小人。
278年，羊祜病逝。朝野聞之，無不大慟。
對羊祜生前的所作所爲，他的女婿很不理解：“有所營置，令有歸戴者，可不美乎?”其實，羊祜曾對兒子說過這樣的話：“人臣樹私則背公，是大惑也。”羊祜的“倒行逆施”，都是爲國爲民，唯獨沒有考慮他自己。正因爲如此，他纔會那麼深入人心。
