归降窦建德的李勣，其实内心中并不愿意留在窦建德身边。李勣几次都想逃走，可是又怕危及父亲的安危，所以，一直举棋不定。最后，实在憋不住的李勣将这些心思告诉给郭孝恪，找这个老部下商议应该怎么做。郭孝恪就说：“现在我们刚刚投靠窦建德，稍有举动可能就会被他盯上，不如我们先立点功劳给窦建德，等他对我们彻底放心，再考虑如何逃走”。李勣听从了郭孝恪的意见，不过如何才能取得窦建德信任呢？只有通过战争胜利，才能赢得窦建德的信任，可是唐的地盘是不能打的，那只有去打王世充的郑，反正窦建德和王世充已经破脸。再者，攻打王世充还可以加深窦建德和王世充之间的矛盾，有利于李唐将来各个击破。

当年十一月，李勣主动出击，把王世充刚得不久的获嘉（今河南获嘉）攻下，缴获大量的物资，李勣把物资连同俘虏的人员献给窦建德。窦建德十分高兴，日渐信任李勣。接着，李勣又攻下新乡（今河南新乡），生擒守将刘黑闼献予窦建德。至此窦建德认为李勣是真心归顺自己了。

得到窦建德信任，李勣向窦建德建议：曹（今山东曹县西南）、戴（今山东成武）二州，户口充实，宜攻取之。这建议是绝对可行的，因为曾经有个叫曹操的人，就这么做过，最后天下三分，他占其二，孙刘共其一。窦建德听完这个计划，对李勣的看法深表赞同，为了表示对这件事的重视，窦建德深为赞同，决定亲征。窦建德先命他大舅子曹旦率军五万南渡黄河，又令李勣率精兵三千与之会合成先头部队。

听说窦建德要亲征的李勣，内心十分高兴，原本李勣只是想窦建德随便派个人来，李勣等那人来后，便将那人杀掉，得到整只部队的控制权随后杀回关中。没想到窦建德亲自出征，李勣便计划趁夜袭营，杀掉窦建德，并将自己的父亲解救出来。可就在窦建德要出征时，他老婆曹皇后要生孩子了。南征计划随即搁浅，李勣计划被迫落空。

窦建德的大舅子曹旦。领兵到河南后，横征暴敛，大肆敲诈勒索。引起很大不满，很多归顺窦建德的义军也怨声载道。李勣果断抓住这一点，积极联络这些义军首脑，约定时间一同举事。

原归顺瓦岗军现依附于窦建德的义军头领李文相，与李勣为图谋曹旦。他未曾告知李勣，自己先动手，杀了曹旦的若干部将，仅有一个兽医幸免于难，立刻去见曹旦禀告此事。曹旦大惊，立即加强戒备。

李文相举事之后，才命人前去通知李勣。当时，李勣的大营与曹旦驻军的营地相距很近。郭孝恪劝李勣立刻动手，出兵奇袭曹旦，将他杀掉。可是李勣还没动手，就听说曹旦已经有所防备。李勣见事情败露，即刻和郭孝恪率几十骑逃离大营，直奔长安。李文相后来被窦建德大军征讨，失败被杀。

窦建德的手下群情激愤，要求杀李勣父亲徐盖，惩戒李勣。窦建德说：“李勣是李唐大臣，不忘本朝，他父亲有什么罪？”就没有杀李勣的父亲，可是这件事在后世称为攻击李勣的一个把柄。尤其是理学昌盛的宋明之时，李勣不顾自己父亲的行为，更被人骂“禽兽”，因为在宋明理学家眼里李勣不能事孝于亲就不能事忠于君。自古说忠孝不能两全，可到国家安危存亡之时，理学家要求先忠后孝，一到太平之时，理学家要求先孝后忠，或者是忠孝两全。嘴长他们脸上，而且他们又手握笔杆子，自然都是他们的理。我们平心去看这件事，在国家危难的时候，必须有舍弃，舍小家保大家这在乱世中，是一个司空见惯的命题和内容，只是后来的理学家们大惊小怪而已。理学家们强调所谓的“气节”，可是没气节的往往又是这帮人。平日里日赋万言，一到关键时刻却说“长江水冷，不适跳江。”这样的理学家才是无忠无孝之人，说李勣不孝，他们也配？