尽管元代回回人的社会地位很高，但对广大普普通通的回回人而言，却处于无权无势的地位，甚至沦为“驱口”（即奴婢），供人买卖，尤其到了元朝后期，回回内部的阶级分化日益明显。一方面，回回上层人物，特别是各级官员，对元廷始终忠贞不贰，他们对抗农民起义军和明朝，在战乱中“死节”者人数颇多，不少回回人为挽回元朝的江山而不惜生命。另一方面，也有大量的回回人为推翻元朝而成为明代开国元勋和将士。在元明两代更替之际，全国许多地区，尤其是割据势力方国珍、陈友定控制的地盘，大汉族主义复仇思想浓烈，在打击报复蒙古人的同时，排挤、打击、屠杀色目人（回回人）的事件也屡有发生。泉州发生亦思巴奚战乱后，陈友定趁机大肆杀戮色目人，迫使大批泉州穆斯林逃离或更姓埋名。到明代初年，许多回回家族踪迹已不可考，回回人因战死、隐姓埋名、避难等原因致使人口锐减，泉州及东南沿海一些地方穆斯林从此音信皆无也始于此。
许多回回人尽管有自己独特的生活习惯，但是一旦融入中华民族这个大家庭后，却能自然地接受当地的习俗。就像陈垣先生在《元西域入华化考》中说的那样：畏吾儿、突厥、波斯、大食、叙利亚等国本有文字，本有宗教，畏吾儿外，西亚诸国去中国尤远，非东南诸国比。然一旦入居华地，亦改从华俗，且于文章、学术有声焉。是真前此所未闻，而为元所独也！
在元代，回回人通过官职调迁、军队驻防、屯田、官营手工业局场、商业活动、宗教活动等因素，散居于全国各地，与广大汉人杂居同处，他们把带来的科技知识、宗教民俗等穆斯林文化传入中国，在保持宗教信仰和风俗习惯的基础上，吸收各地的中国文化并加以发展，因而大大丰富并发展了中华文明，对中国文化产生了不小的影响。在元代，回回家族中不少人从第二、三代起，渐渐接受本地文化，涌现出了一批杰出的诗人、史家、思想家、翻译家、书画家，其成就令当时各界感到惊奇。作为著名画家、诗人的高克恭，善画山水、黑竹，与赵孟齐名，其画和诗至今有存。在元代的减开科以来，许多回回人中举入仕，其人数在蒙古色目人右榜中也都占有很大比例，在政治、军事、经济和科技各方面，均有突出表现。来自阿拉伯、波斯和突厥各族穆斯林，种族和语言各异，以阿拉伯文字为基础而创制的新波斯文回回字即成为当时回回人中通行的文字，也是国内通行的三种官方文字之一，回回国子监则讲授回回字和“亦思替非文字”（波斯文）。这些语言文字的统一，有助于回回世俗文化，诸如文字语言学、文学、史学、哲学、阴阳学、医药学、天文历算、地理学、工程技术等的形成和发展。元代是回回人壮大自己的时代，也是回回民族共同体主体形成的时代。元中期以后，回回人或受汉文化影响，日常生活中使用汉语已不可避免。随着回回人遍及各地，各回回聚居区的清真寺也不断建立，执掌教法的人称“哈的”，可以依照伊斯兰教法处理穆斯林中的婚姻、财产纠纷，判断他们之间的是非曲直。
有元一代，回回人已遍及全国城乡，因而伊斯兰教也扩及到了全国范围，在新的历史条件下，从元代进入中原的回回人逐渐形成了一个新的民族——回族。
“帝师”八思巴与吐蕃