在民間評書《楊家將》中，潘美被醜化爲奸邪疾功的“潘仁美”，說他公報私仇，陷害忠良，致使楊業撞死在李陵碑前。其實，歷史上楊業之死，主要責任人並不是潘美，而是缺乏作戰經驗卻大權在握的監軍王侁。據《宋史》記載，當時部隊的任務是掩護各州民衆撤退內地，而王侁卻強迫楊業出擊。楊業自知敵衆我寡，難以取勝，遂要求王侁、潘美在陳家谷口(即演義中的兩狼山)默認強弩步兵接應。
楊業是一員良將，他認爲北宋軍多爲步兵，要對抗契丹騎兵必須依仗強弓硬弩。但是實戰中，王侁卻爲了爭功，率領接應人馬私離防地，後來發現戰況不妙，又臨陣脫逃。楊業殺破遼軍重圍，趕到陳家谷口時，卻無接應人馬，“撫膺大慟，再率帳下士兵力戰”，渾身受傷數十處後被俘，絕食而死。根據宋史說法，潘美支持楊業的立場，只是沒有制止監軍王侁私離防地，並非“元兇首惡”，這從戰後的處分也得到證明——潘美是降職處分，王侁則被撤職發配。
其實潘美對宋朝功勞挺大，應該超過楊業。《宋史》中，潘美位於列傳第十七的位置，而楊業僅在列傳三十一位，排名差了許多。從列傳功業上看，潘美撫陝帥袁彥，協平李重進，協徵嶺南，廣北門役，徵江南，說降陳，擊北漢，戰太原，抵遼軍，其功績應遠在楊業之上，而且較有政治眼光，可稱得上政治家軍事家了。另據非正史載，宋太祖有私生子，不利太祖，太祖不知何爲，趙普等皆勸殺，唯潘美知太祖心事，不言，太祖執其手囑咐，潘美收養，可見仁慈。
但是，藝術作品太厲害，經過評書、戲劇渲染，現在很少有人知道潘美功績，只知道“楊家將”，形成一樁“文化冤案”。對潘美形象的歪曲可追溯至元代，元雜劇《八大王開詔救忠》、《燼餘錄》以及明代出現的話本小說《楊家將演義》、《楊家將傳》等，爲了突顯楊家將的忠勇，通過虛構和誇張的藝術手法將潘美進行歪曲醜化。在歷史故事的改編加工中，爲了吸引讀者，作者往往用藝術性遮蔽真實性，民間的口頭傳播更是使故事帶有了濃厚的戲說演繹的成分，造成對歷史事件、人物的歪曲和誤讀，這樣的“文化冤案”在中外都不少見。
潘美在楊家將故事中作爲反面人物來襯托楊家將的忠義勇武，招惹了無辜罵名，但是歷史上真正的潘美一生南征北戰，爲北宋大統立下了汗馬功勞;在招遠督辦金礦爲當時的國家財政和招遠的長足發展作出了巨大貢獻，他的歷史功績應得到肯定。戲說不等同於歷史，對歷史事件、歷史人物我們應該客觀看待，將歷史真實與藝術形象區分開來，根據真實記載來評功論過，還原歷史，纔是真正尊重歷史。
