中國與阿拉伯均有悠久歷史，雙方的友好關係可以追溯到2000年前，即遠在唐朝初年伊斯蘭教創興（公元622年）之前。唐代前，阿拉伯人曾在中國與西方的貿易中，起過重要的仲介作用，成為絲路的一站。在中世紀，唐朝首都長安和阿拉伯阿拔斯朝的首府巴格達是當時世界上的兩大文明中心。

唐朝，自公元622年伊斯蘭教創興後，中國與阿拉伯的關係進入一個新時期。約在公元七世紀中葉，伊斯蘭教傳入中國，從此，伊斯蘭教成為聯繫中阿兩大民族的重要紐帶。阿拉伯人開疆拓域，使周邊地區伊斯蘭化的結果，讓大唐帝國和阿拉伯大帝國直接接壤，當時雙方都有發展友好關係的願望，加之雙方經濟文化的繁榮昌盛以及對外實行開放政策，這一切都為中阿兩大民族的密切交往提供有利條件。

據《舊唐書》、《冊府元龜》、《資治通鑑》等典籍記載，在唐朝，自永徽二年（公元651年）至貞元十四年（公元798年）的148年間，阿拉伯帝國（當時隨波斯人音譯稱其為「大食」）曾遣使來華達40次之多。其中四大正統哈里發時期（公元632—661年）兩次，伍麥葉王朝──中國史稱「白衣大食」（公元661—750年）時期18次，阿拔斯王朝──中國史稱「黑衣大食」時期20次。唐時，阿拉伯（大食）來華使節頻繁，使節多攜寶馬和方物朝貢，中國皇帝也多以厚禮回贈。來者不乏假冒使節之名以貪圖中國朝廷豐厚回贈的商人，亦有行商兼使節的。

阿拉伯人自古擅長經商，他們多通過著名的海陸兩條「絲綢之路」來華。唐代，八世紀以來，經陸路來華的阿拉伯人大多居住在京城長安及西域城鎮。當時的長安是一個國際都市，各國使節、遊客、商賈雲集，住在長安的外國人數以萬計，其中不少是阿拉伯人。長安西市為胡商貿易專區。二十世紀六十年代在西安郊區晚唐墓中曾出土3枚阿拉伯金幣，分別鑄造於阿拉伯伍麥葉王朝（白衣大食）時期的公元702、718和746 年，金幣隨葬約當於公元八世紀下半葉至九世紀上半葉，應是當時中阿人民通過陸地絲綢之路往來的最好實證。

據考，最早通過海路來中國經商、僑居的阿拉伯人多為來自當時以蘇哈爾（唐代古籍稱「沒巽」，宋代古籍稱「勿巡」）為都城的阿曼（中國古籍譯為「罋蠻」）。唐朝中阿來往貿易的港口，在阿拉伯世界除上述阿曼的蘇哈爾外，古籍中提到的還有巴士拉（古譯末羅）、伍布萊（al-’ubllah，古譯烏剌，在阿拉伯河左岸，毀於阿拔斯朝哈里發穆耳台米德在位期間的公元870—892年）、西拉夫（Sīrāf，古譯尸羅夫，位於海灣東岸的商鎮，現在伊朗境內，毀於公元977年地震）、巴林、亞丁（古譯阿丹）。中國的商船可直通巴格達，巴格達有專賣中國絲綢和瓷器等貨物的市場，亞丁也有中國商品。

通過海上絲路來華的阿拉伯商人多僑居於中國沿海的廣州、泉州、揚州、明州（浙江寧波）等港口城市。唐朝重視外商來華貿易，先後在上述城市設立市舶司。市舶司兼有管理海外貿易、稅收和外事機構的性質。廣州節度使、嶺南節度使都負有招徠藩商、鼓勵外貿的責任。當局採取優待外商政策，如唐文宗大和八年（公元834年）曾頒佈詔令，命有關節度觀察使對藩客（外商）要「常加存問。除舶腳、收市、進奉外，任其往來通流，自為交易，不得重加率稅」。唐朝政府尊重阿拉伯商人的宗教信仰、風俗習慣，有些地方還建立了清真寺，當時稱「禮堂」。

唐朝對外商採取的種種優惠政策和有利條件，使來華經商僑居或定居於沿海商埠的阿拉伯人（包括當時阿拉伯帝國所轄的波斯人）愈來愈多，數以萬計。阿拉伯文典籍《中國印度見聞錄》（’akhbār as-Sīn wa al-Hind）在記述九世紀七十年代末黃巢攻陷廣州時稱：「僅寄居城中經商的伊斯蘭教徒、猶太教徒、基督教徒、拜火教徒，就總共有十二萬人被殺害。」當時在廣州的阿拉伯（大食）人之多，由此可見一斑。