李密眼看在洛口不能立足，便率部下奔赴虎牢关（今河南汜水镇）。虎牢关虽有险要关口，但是缺少粮草不能久居。何去何从成为李密现在面临的最大难题，李密当时的第一反应是去黎阳与李勣会合，因为黎阳不仅是一个大粮仓，而且李勣还提领一支精兵驻守在那里，可以以此为据点，日后再图东山再起。只是李密的一个部下提醒他：“杀翟让的时候，李勣也差点被杀，现在我军因大败而去投靠他，怎么能够保证李勣不会和单雄信一样反水呢？”是啊，同为翟让旧部的单雄信已经在关键时候背叛自己，更何况是这个差点被自己杀掉，并日渐疏远的李勣，他也会背叛自己吧，李密第一次开始反思自己急功近利的作为，也就在这个时候体会到除掉翟让的恶果。思虑良久，李密放弃前去黎阳与李勣会合的想法。

偃师、洛口城被王世充占领，据守金墉城的王伯当感到不足以抗衡王世充，于是主动放弃这将成瓮中之鳖的孤城，退守河阳。李密闻讯，立刻召开会议。

李密这次同样想出上下二策。上策乃据守河阳，仍举瓦岗军大旗，南以黄河为天堑，北固守出太行山的关口，东与黎阳李勣连成一片，西有王屋山为屏障，先稳住阵脚，后招兵买马，再图霸业。下策乃投靠关中的唐朝，放弃瓦岗军的大旗，向唐朝称臣。

李密的将领们都同意下策，归降唐朝。大家都认为：“现在军队刚刚大败，军心不稳，众人心内均惶恐不安，如果再停留于此，恐怕叛逃的人越来越多，早晚会酿成巨变。而且人情厌战，不愿再打下去了。”这里诸将所讲的“人情”，正是现如今瓦岗军将士的普遍心情。他们自童山大战以来，一直没有得到喘息之机，早就疲惫不堪。再说河阳与东都仅仅一线之隔，王世充随时都会杀到，一场新的恶战说来就来，以他们的疲惫之躯怎么能和王世充的精锐之师相匹敌呢？因此，求生、求稳、求安定的思想在士卒之间处于主流，想逃亡的人越来越多，这些情况诸位带兵的将领再清楚不过。

李密见诸将如此表态，不禁长叹一口气，说道：“自我起兵以来，都是依靠大家，现在大家既然不愿意，我也没就被什么办法啦！”说罢，抽出宝剑想要一死以谢众人。亏得王伯当及时拦住李密，抱住他号啕大哭，诸将见此情形也无不落泪。谁想要寄人篱下，只是形势比人强，不得不从。

看到这种情景，李密明白自己大势已去，只得同意诸将意见，投奔关中的唐朝。虽然还有李勣苦苦支撑，但瓦岗已不复存在。李勣又将何去何从？