李玉堂率領殘部抵達臺灣新竹後，再次被撤去軍職。繼又因爲夫人陳伯蘭與中共地下黨有聯繫而被逮捕。根據李玉堂的舊部胡林亭(原第32軍第255師警衛營副營長)的回憶，李之被捕，主要是由於其從事策反的隨從副官李剛暴露所致。李剛被捕後受刑不過，交代出李玉堂的夫人與內兄陳石清從香港到海南策反李玉堂一事。而李玉堂在得知李剛被捕後，立即寫信給在高雄工作的陳石清，要他趕快逃命。這封信結果被保密局特工截獲，李玉堂因此被捕。
審理此案的審判長錢大鈞經過調查，認爲李對他夫人的通共情況並不知情，於是按照《戡亂時期檢肅匪諜條例》第九條，知匪不報的條例判處李玉堂七年徒刑，繼而增加爲十五年徒刑。遺憾的是當蔣中正在批示這一判決時，竟然親自在判決書上批了一個“恥”字，於是這位得到過青天白日勳章的抗日名將就這樣被決定了最終命運。
1951年2月5日，李玉堂及其夫人陳伯蘭同被押赴臺北碧潭刑場執行死刑。李在臨死前留有遺書一封，內言“我命已矣!但事與我無關。總統命令，已無申訴餘地，我死後望有公論。我無對不起國家之事，國家如此對我，於國家何益?實爲共匪所快。我不足惜，不過一生爲國，如此下場，心有不甘耳!……和平後，葬我于徐州雲龍山……。”
1983年7月20日，山東省人民政府經過國務院批准，追認李玉堂爲革命烈士。其理由如下：“1949年，李玉堂任海南防衛副總司令期間，中共通過關係策反李玉堂，李接受中共的條件舉行起義。因交通中斷，李玉堂未及時接到中共關於起義的指示，即隨國民黨軍隊撤往臺灣。碧潭。”山東省人民政府的這一決定使李玉堂成爲了革命烈士。但是在二十多年後的2004年春節過後不久，臺灣政府又公開發表了一則提名爲“李玉堂將軍及夫人陳伯蘭沉冤昭雪並頒予‘恢復名譽證書’”的啓事，這到底又是怎麼一回事呢?
李玉堂原配李氏，續娶陳伯蘭，皆無所出，有一養女李國英，居於臺北，後移居上海。
