穆罕默德宣布接受安拉任命传教之时（公元610年），正是中国历史上的隋代。其后伊斯兰教从阿拉伯半岛向外扩展时，是为中国唐代初期。唐代史籍称阿拉伯为“大食”，这时期在中国境内的穆斯林，是后来回族的源流之一。中国最早有穆斯林定居当在唐朝肃、代二宗时期（约八世纪中期）。唐宋时期的穆斯林严格来说都是阿拉伯和中亚伊斯兰教国家的移民，包括士兵、商人和贡使等，中国史籍称其于中国定居的后裔为“土生波斯”。当时从陆路入境的穆斯林大都从大食、波斯经怛逻斯（今哈萨克东南部江布尔）、碎叶（今中亚内陆国吉尔吉斯北部托亚马克附近）、勃达岭、龟兹（今新疆库车），经河西走廊入唐都长安，并定居于长安（今西安）、开封等地的城镇。从海路入境的则多数由印度洋、太平洋经广州沿岸而行，并多定居于沿海城市，如广州、扬州和泉州等地。

宋朝在广州已有外国人的集居区，称为“蕃坊”。在广州、泉州等地设置了专门招收“蕃客”子弟的“蕃学”。“蕃学”的课业都是中国传统文化的内容，学员并可参加科举，考取功名。在宋朝，清真寺已较普遍，如广州的怀圣寺及其光塔、泉州的清净寺、扬州以及北京的牛街礼拜寺等，建筑风格多具阿拉伯特色。此外，泉州的“灵山圣墓”、广州的“宛葛素墓”等也是宋朝伊斯兰教的重要文化遗产。

至元代，伊斯兰教有了质与量的发展。元代的穆斯林大多是从阿拉伯和中亚一带，随蒙古远征军东来中国后定居的后裔。与唐宋穆斯林不同，他们多属于统治阶层，其社会地位高于“汉人”和“南人”。有元一代，在中央任过宰相之职的穆斯林共有17人，其中最有名的是阿合马和赛典赤赡思丁。经济方面，穆斯林多是富商大贾，除为官、经商者外，亦有不少从事农业，并有少量工匠。元代东来的穆斯林是后来形成回族的骨干。据说，元宗室也有信仰伊斯兰教。到了元代，中国穆斯林才出现专门的宗教职业者（“答失蛮”和“哈的”）和个别教派的修道者。中央政府曾一度设置管理伊斯兰教事务的机构──“回回掌教哈的所”。至元二十六年（1289年）开办“回回国子学”。元朝建立的清真寺有杭州的真教寺（俗称凤凰寺）、上海松江的清真寺、昆明的南城寺和永宁寺等。此外，伊斯兰教的遗迹还有松江的元达鲁花赤墓、扬州的普哈丁墓园、云南的赡思丁墓等。清真寺的“三掌教制”的寺坊制度在元代也基本定型。

明清时期伊斯兰教最大的特色是趋向内聚并逐渐完成本土化的过程。“回回”透过长期的共同生活，发展下来，至明代已形成了一个有相同的社会习俗和宗教传统的民族共同体，称为“回族”，伊斯兰教亦有了较固定的称呼：“回回教”或“回教”。可是，因明初对外族疑忌，乃大力汉化，下令回族与汉族通婚，穆斯林亦多隐没其为外侨后裔的身份，除宗教不同以外，生活上的各方面基本上与汉族人无异。明朝时，内地穆斯林除保留一般的“经名”外，还普遍开始改汉姓，如“马”、“沙”、“穆”和“丁”等，亦起汉名，蔚成风气。明朝兴建的清真寺有著名的西安化觉巷清真大寺、北京东四清真寺和北京花市清真寺等。此外，亦因明中业以后实行海禁，以往中国内地穆斯林与西部边境的密切联系便告终止，促使中国伊斯兰教的发展走上较具本土特色的方向，留下来的穆斯林亦因外部的压力更为内聚，形成现今“大分散、小集中”的分布格局。

因汉化影响，明清时期的宗教教育已不再单纯地讲授阿拉伯文和波斯文的宗教经典，清真寺内的“经堂教育”以汉语讲述经典、注释经典，要求学员通儒通经。教内学者用汉文写作了一大批诠释伊斯兰教的著作。这些著作称为“汉刻它布”（汉文经典）。不得不提的是，清廷对穆斯林的政策以高压为主，怀柔为辅。此外，清廷亦利用教派之争而加强控制，如有所谓“三大教派、四大门宦”，然而中国穆斯林仍属“逊尼派”，上述分化是内部派别的分化，差异只在礼拜等细节上，无关宏旨。从此，中国伊斯兰教一方面是走向本土化，一方面是特立精神的昂扬，两者并存为一体。

在中国信仰伊斯兰教的主要有10个少数民族：回、撒拉、东乡、保安、维吾尔、哈萨克、柯尔克孜、乌孜别克、塔塔尔和塔吉克族。这10个少数民族的总人口约有一千九百万，其中人口最多的是回族，占八百多万，其次是维吾尔族，有七百多万，再次是哈萨克族的百多万。全国现有清真寺约三万余座，教长、阿訇共四万余人，其中新疆地区占大多数。行政区域方面，中国先后成立的信仰伊斯兰教民族的省级自治地方，有新疆维吾尔自治区（1955年）和宁夏回族自治区（1958年）。穆斯林的全国性宗教团体是中国伊斯兰教协会。宗教机构方面，中央级的宗教高校是位于北京的中国伊斯兰教经学院，地方级院校则有9所。