武德二年（619年）十一月，黄河封冻，李世民率军踏冰渡河，与刘武周主力宋金刚部相持于柏壁。唐军的后勤出了问题，粮草供应不上。李世民只得在河东就地征粮。河东百姓听说是李世民任唐军统帅，竟然不论远近纷纷前往投军。老百姓聚得足够多了，李世民下令从他们身上征集军粮，解决了唐军的粮食困难。李世民深知宋金刚后勤补给比自己还难，因此唐军坚守不战，等宋金刚粮尽时大举出击。

此时由于吕崇茂闹得太厉害，李渊紧急抽调部队，由永安王李孝基率领前去镇压。十二月，李孝基部将吕包围在夏县，吕向宋金刚紧急求援。宋正因李世民拒不出战而闲来无事，就派出手下猛将尉迟敬德前去支援。由于尉迟敬德来得太突然，李孝基来不及反应就被前后夹攻，结果全军覆没，自己也被生擒。后来李孝基图谋逃走，事泄被杀，成为唐朝第一个王级烈士。尉迟敬德得胜而归，却在路上遭到李世民所部殷开山、秦叔宝的伏击，狼狈逃回。李世民来得及派人伏击尉迟敬德，却来不及援救李孝基部，只能算李孝基倒霉了。

相持到武德三年（620年）四月，宋金刚终于因粮尽不支而北撤。李世民立即全军追击。宋部撤退速度极快，李世民追击也不遗余力，史载：“一昼夜行二百余里”，那是很惊人的强行军了。由于行军过快，辎重无法跟上，唐军在追击中竟断了粮，部下苦劝李世民停止追击，认为击溃了刘武周主力，功劳已经很大了，再追击下去只怕反而因缺粮而败。李世民严词拒绝，声称这是难得的彻底击溃刘武周的机会，如果放过了，等刘武周、宋金刚恢复过来就悔之已晚。最后还慷慨激昂地说：“吾竭忠报国，岂顾身乎！”他都这么说了，谁再敢说停止追击就不免有怕死不爱国的嫌疑，结果大家都不敢再说肚饿，拼命紧追宋金刚。

由于宋金刚部更加肚饿，终于被李世民在雀鼠谷追到，一日八战，宋八战八败，损兵数万，逃往介休去了。当夜，李世民部就在雀鼠谷宿营，此时李世民已经两天没吃饭，三天没解甲，相信他的部下只有比他更惨。当晚军中无粮，总算不知从哪里找到了一只羊，那只羊应该是最惨的了，因为它是被几万人分吃掉的。

当时宋金刚还有部众两万人，他一发狠将两万人统统拉出城去，开西门迎战李世民的追兵。这次宋金刚背靠城墙布阵，南北长七里。李世民也针锋相对地排开阵势，由总管李勣、程咬金、秦叔宝等当其北，翟长孙、秦武通等当其南。

现在，双方都已经准备就绪，最后一战马上开始。在这一仗开始之前，让我们扯一些题外话，在距离这场战争的1300余年后，联合国秘书长加利在回答记者问他是否想连任联合国秘书长的提问时，加利巧妙地引用了一句埃及谚语“旧鞋子好穿。”而在距加利1300余年前的李勣向李世民献上一计，由李勣佯败吸引宋金刚，李世民趁机攻宋金刚背后，计策虽老，却很有用。宋金刚仅以身免部队大部投降，战死三千余人。尉迟敬德未能突围，被困在介休城内。李世民爱其武勇，派人招降，尉迟敬德见大势已去，开城投降。

刘武周为击败李世民，将全部主力都派给宋金刚，宋部覆灭，刘武周的军事力量不复存在了。后来刘武周、宋金刚分别被突厥处死，当了异乡鬼。