當年三月，隋河南討捕大使裴仁基和其子裴行儼率衆在虎牢關投降瓦崗軍。接着，隋將秦叔寶、程咬金、羅士信也都率部投降，隋淮陽太守趙佗也舉郡歸降。四月，李密又親自率兵3萬攻佔回洛倉，並大修營塹，初步形成對洛陽的包圍。在節節勝利、捷報頻傳的情況下，李密見時機已經成熟，立即發佈討隋煬帝檄文，痛數其十大罪狀，明確提出推翻隋王朝、建立新王朝的口號。
但李密並沒有接受謀士柴孝和先入關攻取長安的建議，依然固執地發兵洛陽，瓦崗軍與隋軍在洛陽不可避免地發生了大規模的對攻戰。李密這種錯誤的戰略決策使瓦崗軍全軍被阻頓于堅城之下，不得不面對一個又一個敵人，處於被動挨打的地位，這無疑是一種送肉上砧板的愚蠢戰略。不過，話又說回來，也正是瓦崗軍牽制住了隋軍的主要戰略力量，使天下局勢爲之一變，李淵父子得以順利地攻佔長安。
瓦崗軍與隋軍在洛陽展開了拉鋸戰，雙方前後打了六十多仗，互有勝負。正當雙方的戰鬥如火如荼之際，瓦崗軍內部出現了分裂。李密的瓦崗軍首領之位是由翟讓“讓”出來的，形勢的發展，不經意間會勾起人內心深處對已逝權力的渴望和追求。翟讓的親信部將王儒信多次勸翟讓做“大冢宰”，總統政務，以奪李密之權。翟讓的哥哥翟寬也對翟讓嚷嚷：“天子止可自作，安得與人？汝若不能作，我當爲之。”（《隋書·李密傳》）翟讓自己也常說：“魏公李密是我把他推上現在的位置的，不過，未來的事情會發生什麼變化，誰又能說得清楚呢？”正如魚得水的李密聽到這些話之後，如坐鍼氈，遂“有圖讓之計”（《隋書·李密傳》）。
大業十三年（617年）十一月十一日，李密設計在宴會上殺了翟讓，同時遇害的還有其兄翟寬及部將王儒信。翟讓舊部徐世勣被亂軍砍傷，因李密制止及時，幸而得免，單雄信等人皆叩頭求饒。李密大聲宣佈：“我與諸位同起義兵，共除暴亂。而翟讓凌辱羣僚，欺上瞞下，專行暴虐，圖謀不軌;今所殺僅止於翟讓、翟寬、王儒信三人，與諸位無任何關係，願大家各安其職，共圖大業。”這場不擇手段的暗殺給瓦崗軍的反隋大業造成了不可彌補的損失，翟讓被殺後，瓦崗軍內部出現了嚴重的信任危機，“密之將佐始有自疑之心矣”（《資治通鑑》卷一八四）。瓦崗軍的團結被徹底地破壞了。
隋大業十三年（617年）十二月至唐武德元年（618年）正月，李密率瓦崗軍與王世充在洛水邊決戰，王世充兵敗如山倒，5萬江淮勁卒只剩下數千人。遭此大敗的王世充收拾殘兵敗將龜縮於洛陽城內，再也不敢出戰。雖然瓦崗軍多次獲勝，但始終被困於洛陽堅城之外，不能完成佔領洛陽的戰略目標。長期鏖戰的結果使瓦崗軍實力不僅沒有增強反而在慢慢削減，瓦崗軍的處境呈現頹勢。
武德元年（618年）三月，宇文化及等在江都發動政變，殺掉隋煬帝，隨後率兵10餘萬北上，氣勢洶洶地殺奔中原而來。李密全力對付宇文化及，他率領瓦崗軍在衛州的童山（今河南浚縣西南）與宇文化及決戰，雙方惡戰了整整一天。此戰李密被流矢射傷落馬，幸得秦叔寶及時相救。獲救後的李密組織部隊穩住了敗局反而取得小勝，迫使宇文化及改變行軍路線，率殘部兩萬人北上。
按照事前的約定，李密可以入東都輔政了。但野心勃勃的王世充怎麼能心甘情願地讓李密插手洛陽事務呢，於是發動宮廷政變，獨攬了洛陽大權。在入洛陽途中聽聞此事的李密無奈只好返回原駐地。時光似乎又回到從前，依然是瓦崗與東都的對峙，但內中的格局早已今非昔比。殺翟讓後，李密“頗自驕矜，不恤士衆”（《資治通鑑》卷一八六）;加之，他多信用隋朝舊將，引起瓦崗軍士的怨憤。此外，李密雖據糧倉，卻無府庫，有功將士得不到賞賜，也暗生不滿。這意味着看似人多勢衆的瓦崗軍內部潛伏着嚴重的危機。而王世充新掌大權，可以自由調派人馬，實力大增。
這年九月，王世充與李密在偃師展開了生死存亡的大決戰。這一戰，李密一敗塗地，再無回天之力，曾經風雲一時的瓦崗軍剎那間灰飛煙滅了。
