武德三年（620）四月，刘武周在晋阳（文中所提之晋阳、并州、太原，实为一地）得知宋金刚介州（今山西介休）大败之后，认为大势已去，惊恐万状。李世民又率唐军到晋阳，将晋阳包围。刘武周真知并州难守，便率骑兵五百，弃并州北逃，投奔突厥去了。
刘武周的西南道大行台、妹夫宋金刚，在介州失败后，亦到了并州。本想收拾余众，重新整顿，与李世民再决雌雄，但将士不愿再送命，不肯从。宋金刚也无奈，只好率百余骑北奔，投突厥去了。不久，宋金刚不想长期依突厥，背着突厥而逃亡，将还上谷（今河北省易县），被突厥追骑所获，腰斩之。
在刘武周、宋金刚北逃后，为刘武周镇守太原的心腹尚书左仆射杨伏念，亦在无可奈何的情况下，打开太原城门，献城投降。唐俭在城内封府库待李世民入城。刘武周南下所得州县尽归于唐。
刘武周北逃至马邑，对着他南下时留守马邑的内史令、妹夫苑君璋哭泣着说：“恨不用君言，乃至于此！”在走投无路之际，刘武周与苑君璋二人共同投突厥。其间，刘武周又被唐军击败，困于马邑城（今朔州市朔城区），苑君璋率部与突厥联兵，由恒安（今山西大同市）夜出万骑，攻破马邑，救刘武周到神武县城（今朔州市朔城区东神武村）。后来，刘武周不甘心完全投突厥，谋归马邑，重整旗鼓，以便东山再起，事泄，为突厥所杀。轰轰烈烈的刘武周马邑起义，到此完全失败了。
