隋煬帝登基後，漢王楊諒在幷州發動叛亂，麥鐵杖繼續跟隨楊素征討漢王楊諒，每次戰鬥總是衝鋒在前，因此被任命爲柱國大將軍。不久後，他被調任爲萊州刺史，但在那裏並沒有取得什麼政績。之後又調任汝南太守，並逐漸學習法令制度，使盜匪漸漸絕跡。
後來，他上朝參加考功，考功郎竇威嘲笑鐵杖問道：“麥是什麼姓?”鐵杖立即回答道：“麥竇(豆)沒有差異，有什麼值得奇怪的?”竇威非常羞愧，無言可答，當時的人們都認爲麥鐵杖聰明敏捷。
不久之後，麥鐵杖被調任爲右屯衛大將軍，隋煬帝對他更加親近。麥鐵杖深感隋煬帝對他的恩情如山，時常懷揣着忠誠報國的志向。
在大業八年(612年)，隋煬帝發起了對高句麗的征討，麥鐵杖請求作爲先鋒。他回頭對隨從醫生吳景賢說：“大丈夫的生命有所歸宿，豈能用艾炷燙鼻樑，用瓜蒂噴鼻孔，治療黃病無關緊要，卻死在婦人懷裏呢?”當他將要渡過遼河時，橋尚未完工，距離東岸還有幾丈的距離，高句麗軍隊大批涌來。麥鐵杖跳上岸，與高句麗軍搏鬥，最終戰死。與他一同陣亡的還有武賁郎將錢士雄、孟金叉。
隋煬帝爲鐵杖哀悼，贖回了他的屍體，並下詔說：“鐵杖志堅勇猛，平日以功勳著稱。這次隨朕討伐賊寇，他身先士卒，衝鋒陷陣，表現出高尚的義氣和勇猛的精神。雖然他已經身死，但功績永存。他的誓言至忠至誠，追懷他的平生，讓人傷感不已。應賜給他特殊榮譽，以表彰他的功德，可追贈光祿大夫之職，追封宿國公，諡號武烈。”鐵杖之子麥孟才承襲爵位，不久授爲光祿大夫。麥孟才還有兩個弟弟，他們都被拜爲正議大夫。
隋煬帝還贈錢鉅萬，爲鐵杖辦喪事，賜鍂車京喪車，前後配有吹鼓手，喪車的竿子上插着羽毛，在平壤被賊軍打破的宇文述等一百多人都在車前爲鐵杖執繩引棺，王公以下的官員送到郊外。
