唐朝在漠北設置府、州以後，回紇臣屬於唐，但彼此也有矛盾，因為回紇一直想稱霸漠北，而唐朝卻不希望再出現另一個薛延陀汗國。公元647年（貞觀二十一年），唐朝大軍自漠北退回，同時將燕然都護府遷至漠南古單于台（今內蒙古呼和浩特市西），統轄六府七州。回紇吐迷度竟乘機自稱可汗，建立一套如同突厥汗國的官制，稱霸漠北各部。唐太宗一方面寬容地默許回紇的舉動；另一方面則運用政治策略來削弱、牽制回紇，防止回紇完全獨立或脫離控制。從此雙方便處於時戰時和的狀況中。

公元662年（龍朔二年），回紇等鐵勒諸部與唐朝發生衝突。當時唐將鄭仁泰、薛仁貴率領唐軍與以回紇為主的鐵勒各部十餘萬人作戰於天山（今內蒙古陰山）。戰鬥中，鐵勒精銳騎兵數十人前來挑戰，薛仁貴連發三箭，射殺三騎。鐵勒大軍為之震懾，願意歸降。唐軍便流傳了「將軍三箭定天山，壯士長歌入漢關」的歌謠。但是，薛仁貴將大量投降的鐵勒人殺害，行為極為殘暴。