在傳統的俠義小說中，潘仁美是個大奸臣，與之相對的「楊家將」則是一門忠烈，被潘仁美害死多人。兩姓自古結下仇怨，甚至還有「潘楊永不結親」的說法。文學作品往往依託於現實，那麼潘仁美在現實中又是一個什麼樣的人呢?真的殘害忠良，十惡不赦嗎?
「楊家將」的故事講述了楊家名將楊業、楊延昭等人保家衛國的感人事蹟，這一門忠烈令遼兵聞風喪膽，對大宋朝可謂居功至偉。怎奈奸臣當道，潘仁美大奸大佞，楊家將遭到嚴重迫害。遼國皇帝約請太宗，赴金沙灘 「雙龍會」，其中暗藏殺機，兵困行宮。刀光血影中，大郎、二郎和三郎戰死，四郎和五郎失蹤，七郎被潘仁美萬箭射死。
這個故事發生在北宋初年，至中葉時已傳遍天下，並衍生出更多以潘、楊二人爲主角的故事。潘仁美的奸佞形象在人們心中已根深蒂固，但實際上他的原型「潘美」與故事中的人物還是有些出入的。潘美生於後漢年間，年輕時風流倜儻，又有建功立業之志，恰逢柴榮任開封府尹，潘美便當了柴榮的侍從。
到柴榮即帝位後，建立後周，是爲周世宗，補任潘美爲供奉官。高平之戰，潘美因爲戰功遷爲西上閣門副使。柴榮去世後，七歲的周恭帝柴宗訓即位，時政不穩。傳聞契丹聯合北漢南下攻周，宰相範質等未辨真僞，急遣趙匡胤統率諸軍北上禦敵。不料趙匡胤卻託言兵少將寡，不能出戰。範質只得委趙匡胤最高軍權，可以調動全國兵馬。
周軍行至陳橋驛，趙匡胤和趙普等密謀策劃，發動兵變，衆將以黃袍加在趙匡胤身上，擁立他爲皇帝，潘美就是其中一人。趙匡胤對潘美待遇很優厚，潘美也沒讓趙匡胤失望，先是隨他親征平定後周將領李重進叛亂，又是擊敗南漢後主劉鋹幾次侵犯，還追剿了從唐朝開始就成爲禍患的一些少數民族，並加以撫慰，少數民族地區才安定下來。
宋太祖開寶三年，宋朝下令征伐南漢，任命潘美爲行營諸軍都部署。軍隊進克富州，劉鋹派來援軍，潘美佯退設伏，大敗南漢援軍萬餘，攻克賀州。繼而轉兵攻韶州，擊敗南漢軍主力10餘萬。次年二月，與南漢軍6萬對峙於廣州城西。潘美派人於夜間燒南漢軍營柵，率軍乘火勢進攻，大勝。不到半年，攻滅南漢。
開寶七年，皇帝計劃征伐南唐。潘美爲升州道行營都監，與曹彬一起出發，進駐秦淮，潘美率部擊敗江寧城下的10萬南唐大軍。南唐後主李煜緊急求和，趙匡胤卻沒有答應。李煜連夜派部隊攻擊宋軍，潘美率精銳軍隊與其短兵相接，趁機與曹彬率領軍隊黎明攻城，平定南唐，後因戰功被封爲宣徽北院使。
雍熙三年，宋遼岐溝關之戰中，潘美任西路軍主將，楊業爲副將，率軍連下寰、朔縣、雲、應等州(今山西雁北一帶)。七月，遼軍主力反擊宋西路軍。陳家谷口(今山西陳家溝)一戰，潘美與監軍王侁未接受楊業的作戰方案，迫令其出戰;當楊業失利時，又未予以接應，致使楊業被俘，絕食而死。遂被後世編排，留下萬年罵名。
