唐朝在漠北设置府、州以后，回纥臣属于唐，但彼此也有矛盾，因为回纥一直想称霸漠北，而唐朝却不希望再出现另一个薛延陀汗国。公元647年（贞观二十一年），唐朝大军自漠北退回，同时将燕然都护府迁至漠南古单于台（今内蒙古呼和浩特市西），统辖六府七州。回纥吐迷度竟乘机自称可汗，建立一套如同突厥汗国的官制，称霸漠北各部。唐太宗一方面宽容地默许回纥的举动；另一方面则运用政治策略来削弱、牵制回纥，防止回纥完全独立或脱离控制。从此双方便处于时战时和的状况中。

公元662年（龙朔二年），回纥等铁勒诸部与唐朝发生冲突。当时唐将郑仁泰、薛仁贵率领唐军与以回纥为主的铁勒各部十余万人作战于天山（今内蒙古阴山）。战斗中，铁勒精锐骑兵数十人前来挑战，薛仁贵连发三箭，射杀三骑。铁勒大军为之震慑，愿意归降。唐军便流传了“将军三箭定天山，壮士长歌入汉关”的歌谣。但是，薛仁贵将大量投降的铁勒人杀害，行为极为残暴。