回紇汗國是一個以回紇部為首，統轄其他鐵勒部落的部族聯合體。換言之，回紇汗國內除了回紇部之外，還有八個與回紇部地位平等的大部落，這九大部落被統稱為「外九部」。而在回紇部的內部，又由九個氏族組成，這九個氏族則被稱為「內九姓」。回紇汗國基本上就是由「內九姓」和「外九部」所組成。

外九部是指回紇（分佈在色楞格河）、僕固（今鄂嫩河流域）、渾（在皋蘭）、拔野古（今克魯倫河中下游）、同羅（土拉河之北）、思結（阿爾泰山腳以東）、契苾（原居土拉河之南，後歸屬唐朝）、拔悉密（原居今南西伯利亞，後遷到蒙古草原）、葛邏祿（原居阿爾泰山西，後遷到阿爾泰山到杭愛山之間）。外九部基本上屬鐵勒，所以又稱「鐵勒九姓」。外九部中的拔悉密和葛邏祿，是八世紀四十年代回紇部用武力合併而來的部落，所以每遇征戰，回紇汗國常以這兩部為先鋒。

內九姓是指組成回紇部的九個大氏族。據《舊唐書‧回紇傳》記載，內九姓為藥邏葛、胡咄葛、咄羅勿、貊歌息訖、阿勿嘀、葛薩、斛喝素、藥勿葛和奚耶勿。其中藥邏葛氏族為王族集團，回紇汗國的可汗大多從中產生。此外，比較強大的還有咄羅勿和葛薩。

除了外九部，回紇汗國內還包括霫、白霫（霫和白霫居今蒙古東部與吉林、遼寧交界地區）、多覽葛（居今土拉河北）、骨利干（今貝加爾湖以南），以及薛延陀、契丹（今西喇木倫河）、奚（居契丹西南）、室韋（契丹之北）等。這些部落多處於半獨立狀態，內部事務自主，而且對回紇的依附程度，也據回紇勢力強弱而定。