楊惲在大衆中的知名度不高，要談他，就要先拉出他的家世來矜誇一下。他是漢昭帝時丞相楊敞的兒子，更是司馬遷的外孫。
作爲丞相的兒子，司馬遷的外孫(雖說通常外孫這樣的旁支很少沾得上光了，但宣帝時曾遷楊惲來闡述傳播其外祖父的書，王莽時又封司馬遷的後人，說明司馬遷地位已經很超然了;又因被宮再無子嗣，故其女兒的旁支也可繼爵)，楊惲以才能著稱，好結交，早就名顯朝廷了。可以說，司馬遷《史記》得以傳播流傳，楊惲是有很大功勞的。
揭發霍氏謀反讓楊惲得以封侯;還有兩件事，都增加了楊惲的好名聲：一是廢止了郎官出補外官要出錢的“山郎”賄賂制度，二是輕財好義，父親的財產都分給宗族，後母給他繼承的財產他也全部分給後母的昆弟。他廉潔無私、處事公平，都是人人讚譽的。
然而，楊惲性格中有致命的短板。按木桶定理來說，就是他最糟糕的一面決定了他人生的命運。《漢書》中雲，“惲伐其行治，又性刻害，好發人陰伏，同位有忤己者，必欲害之，以其能高人。”再有才能再慷慨，天性記仇又陰毒刻薄，無論如何也是不討人喜歡的。這就種下了惡果。
與楊惲有過節的太僕戴長樂的下獄是一個導火索。戴長樂曾奉詔攝天子事，在宗廟演習禮儀，回來他就大剌剌地對掾史說：“我親自面見受詔，而且還是秺侯金日磾坐在副帝的位置上御車。”結果這番話被人告上去了，稱其“非所宜言”。戴長樂懷疑這是楊惲讓人上告的，也上書告楊惲。
楊惲犯了大多的罪呢?其實也就是和戴長樂一樣，老是說一些不得體的話。一樁是當初高昌侯董忠的車奔入北掖門，楊惲就對人說：“聽說以前有奔馳的車撞到殿門，門關折斷馬也撞死了，沒多久昭帝就崩了。現在又是這種情況;看來這都是天命啊。”一樁是單于使者的信在朝中被遍示羣臣、大家在討論匈奴會不會來朝的的時候，楊惲又烏鴉嘴了：“冒頓單于得到漢朝的好吃好用的，稱其‘殠惡’，顯然對漢朝沒興趣，看來是不會來了。”一樁是楊惲看着西閣上畫的帝王圖，指着桀、紂對旁人說：“天子如果經過這裏，問一問這兩個人的過錯，就可以從中學習到教訓了。”一樁是聽聞匈奴降者道單于被殺了，楊惲說：“碰上一個壞皇帝，大臣的好建議都不用，自己也會被搞死。秦的時候任由宦員亂政，誅殺忠良，所以走向滅亡;如果好好能任用大臣的話，政權就能延續至今了。古代是這樣，現在也還是這樣。”還有一樁，是曾說過：“正月以來，天陰不雨。我猜，天子今年肯定熬不到去河東祀后土祠的時候了。”
這樣的句子我勉強翻譯出來，多數仍然很難理解有什麼問題。戴長樂上書在列舉這些“罪證”的時候，是有幾句評論的。比如，西閣上畫的人明明有堯、舜、禹、湯，你爲什麼不稱這幾個好帝王，偏偏以桀、紂爲例呢?你安的什麼心?比如，你引用秦朝滅亡的故事來映射今天，誹謗今上，想不想活了?比如，你猜皇帝活不長了，把皇帝編進段子裏，更是悖逆絕理!
對於這樣的邏輯，我無法反駁。楊惲那張嘴是比較不經大腦，說話難聽，然而，都是私人場合，造成什麼壞影響了嗎?都是評論而非謠言，煽動出什麼惡果了嗎?即便有罪，又能罪到哪裏呢?
其後，楊惲並不認罪，希望找人作證並沒有說過這樣的話，結果還沒成功就被宣帝偵知了，又成了一重罪。結果，楊惲的罪名被編派得非常嚴重：“不竭忠愛，盡臣子義，而妄怨望，稱引爲訞惡言，大逆不道。”宣帝不忍殺他，就把楊惲和戴長樂都免爲庶人。
因爲有昭宣的中興，一般史書對宣帝的評價頗高。然而，當其太子劉奭委婉地勸他刑罰請不要太過份的時候，宣帝就生氣了，認爲劉奭“柔仁好儒”，發出那聲著名的嘆息：“亂我家者，太子也!”從根本上來說，宣帝就是另一個武帝，王霸雜糅，好大喜功，猜忍刻薄。
事實證明，宣帝並沒有放過楊惲。楊惲沒有了爵位，就開始在家裏治產業，起室宅，大手筆地掙錢花錢，自娛自樂。他的朋友安定太守孫會宗勸他，大臣廢退之後，就應當閉門反思，夾着尾巴做人，不應當那麼高調，更不能四周結交賓客。楊惲哪裏聽，寫了一封《報孫會宗書》，洋洋灑灑，反駁了他。信中雲：
我犯這種錯啊，夷滅都不足以塞責了，沒想到還不殺我，都是聖主的功勞啊。我反思自己，應該作農夫過日子，所以才率領妻子兒女戮力耕桑，以供給朝廷的賦斂。沒想到就這樣還有人不滿!我現在已經是農民了，辛苦耕種;咱倆道不同不相爲謀，你也別再用卿大夫那一套來要求我了!
於是，有人上書說，現在的日食，就是因爲有楊惲這種壞人的存在——結果，楊惲下獄。這就是欲加之罪，連理由都懶得編了。加上前面那封《報孫會宗書》，楊惲被判大逆無道，腰斬。
《漢書》說楊惲陰毒害人，並無實事，惟見他腦子拎不清，老是烏鴉嘴。可是，誰說了烏鴉嘴是要處死的?
就這麼一個開明的地方，一位開明的君王，那裏的臣民，會因爲說了風涼話就被腰斬族滅。我們卻稱之爲中興，不吝讚美。那麼，我們當然會歡迎更多的言論入罪;即使律例裏已沒有沒有腰斬族滅之刑了，我們還有其他言論罪侍候呢。
