爱华网“色目”一词在唐宋时期开始就已流行，多指“种类”、“各色各目”之意。有时也将“姓氏稀僻”的人称为“色目”人，即指一般姓氏以外的各类人。在蒙元时期，蒙古人作为统治阶级，接触到许多原来不熟悉的各民族的人，不仅种类繁多，而且信仰宗教不同，名目不一，所以用“色目”人来称呼他们。元代的色目人究竟有多少种，众说纷纭。据说有23种，如哈刺鲁、钦察、阿速、唐兀、康里、畏吾儿、回回等，当然乃蛮歹、雍古歹、火里剌、秃鲁人歹等肯定是指蒙古人。那些色目回回人，显然是来自当时中亚、西亚的许多不同地区。
“回回”一名本是专用于指称已信奉伊斯兰教的中亚、西亚人，当时属色目人之列，并不是同一个民族，只是为以后形成中国的回族打下了基础。在蒙元时期，其境内回回人的来源，主要是成吉思汗西征以来从中亚、波斯、阿拉伯各各国各地被俘东来的工匠和其他平民，也有归降蒙古的贵族、官员及其族人、部属。他们还包括先后签调来的军队，被征入仕于蒙元的学者，以及来中国各地经商而留居的商人。在中亚地区，蒙古军队每攻取一地，就要挑选一批能工巧匠迁往蒙古大本营或中原地区，成为隶属大汗，置局、院管领或分配给诸王贵族作属民。掳掠的妇女和儿童被分配到蒙古诸王、将领充为奴隶。如史料记载：撒麻耳罕3万人，玉龙杰赤10万多人，马鲁和你沙不儿400人。在太宗时，3000户回回工匠被徙置今张家口西洗马林，300户被迁到今河北阳原。他们大都从事纺织、建筑、武器、造纸、金玉器皿、酿酒等各行各业的劳作。
在成吉思汗西征中，花剌子模有些地方的贵族、官员慑于蒙古军威，率族人和部属投降。他们中有一部分人被带回蒙古，后来又派往中原汉地出征或担任地方官员。如：不花剌的赛典赤家族等。蒙古人还将所占领地区的大量青壮年强迫编入军队，派蒙古将官监领，驱使他们去打仗。拖雷攻取呼罗珊诸城期间，从当地人中征发了大量军士充当前锋。有不少后来随蒙古军队东来，在灭夏、灭金、灭宋战争中被遣往前线，从而进入中国各地。
中亚、波斯和阿拉伯的商人，历来就是沟通东西方的陆上和海上“丝绸之路”最活跃的人群。早在蒙古兴起之前，西域回回商人就经常往来于蒙古高原和西域、中原各地，操纵着不善经商的游牧民与定居农业地区间的贸易。随着蒙古对东西方各国的征服，中国和中、西亚伊斯兰世界同处于蒙古统治之下。元朝皇帝是全蒙古的大汗，统治中、西亚的察合台汗国和伊利汗国是元朝的“宗藩之国”，有驿道相通，商旅往来畅通无阻，于是东来的回回商人为数更多。其中，很多人乐于中国的风土、物产，又享有元廷对他们的种种优待政策，遂留居不返。在元朝回回人当中，也有小部分是唐、宋时期寓居于中国的波斯及阿拉伯人后裔。他们多数是商人，聚居于沿海通商口岸如广州、泉州、杭州等地，并在部分城市建立了伊斯兰教寺院。
在蒙元时代回回人的民族成分中，主要是中、西亚信奉伊斯兰教的突厥人、波斯人、阿拉伯人。在元朝的户籍和其他官方文书上将他们归为回回人一类，标志着中国的回回民族已经开始了形成过程。
蒙元回回人，属色目人的一种。在政治上享有仅次于蒙古人的优越地位。蒙古统治者为抵制汉人、南人，重用色目人。许多回回上层人物，成了大蒙古国和元朝的高官显宦，诸如花剌子模人牙老瓦赤，一代名臣廉希宪、高智耀、察罕，大商人奥都剌合蛮，世祖时的赛典赤父子、阿合马，武宗至仁宗时的合散，泰定帝时的倒剌沙、乌伯都剌等人。据中统四年(1263年）的户口登记，仅大都就有回回2953户，其中多为富商大贾要势要兼并之家。
哈剌鲁、康里、钦察、阿速等色目人的内迁与汉、蒙古等其他民族相互杂居，彼此通婚，从而发生民族融合，部分信奉伊斯兰教的哈剌鲁人成了回族的又一重要组成部分。哈剌鲁（又称葛罗禄、葛逻禄），是元代西北的一个部族。《史集》认为，哈剌鲁人和畏兀儿人一样，是从突厥人中分出来的。突厥人始祖乌古思的嫡系就成为突厥人，依附于他的一些亲属的后代，就成为了畏兀儿、钦察、康里、哈剌鲁人。哈剌鲁人与畏兀儿人，无论从语言上、体质上都与突厥人有着密切的联系。唐代史籍中的葛逻禄，就是元代的哈剌鲁。唐初，葛逻禄人居住在“北庭西北，金山”就是今新疆吉木萨尔、阿尔泰山一带，大概是今天额尔齐斯河和乌伦古河流域。其中有一部分，居住在今巴尔喀什湖东南伊犁河、楚河流域，一部分迁至今新疆阿克苏、温宿、乌什一带融入维吾尔民族当中。13世纪中期以后，哈剌鲁人所聚居的海押立、阿力麻里是蒙古察合台汗国的一部分。蒙古各汗国之间不断争战，使这些地区遭到很大破坏，在此过程中哈剌鲁人
逐渐被其他信仰伊斯兰教的民族所同化。
蒙古帝国时期，哈剌鲁人因参与蒙古军事活动，结果是大批内迁，成为众多回回色目人的组成部分。按照蒙古的惯例，凡归附者当蒙古出征时必须发兵助战。跟随阿尔思兰罕到蒙古草原觐见的一部分哈剌鲁人，立即参与了蒙古对金之战。13世纪70年代，元朝统一全国。长期南征北战的哈剌鲁军人，逐渐定居下来。他们因“从太祖攻居庸关有功，遂以所统哈剌鲁军世守居庸之北口”。这支哈剌鲁军的建制是千户所，以后逐渐改为中央侍卫亲军的一个组成部分，后升为哈剌鲁万户府。这个万户所辖军人，有康里人、钦察人，也大部分是哈剌鲁人。他们均来自中亚，风俗习惯相近，所以忽必列将他们编入一个万户之中。此外，在河北、河南、山东、浙江一带都有成批内迁来的哈剌鲁人。在元朝的哈剌鲁人当中出现过不少名人，如理学家、诗人逎贤，理学家伯颜，名将铁迈赤等。
1217年，成吉思汗命木华黎建探马赤军，最初主要收札剌儿、兀鲁、忙兀、纳海等世袭奴隶部落出身的蒙古人组成，由按察儿、阔阔不花、笑乃歹（此三人出身拓拔氏）、孛罗、不里海拔都儿五人领导的伐金大军中的五个先锋小军团，后壮大扩编为蒙古探马赤总管府，为迅速灭金立下显赫战功。在征服中亚、西亚的争战中，在攻打朝鲜半岛、吐蕃、阿塞拜疆等地过程中，同样采取了像探马赤军这一编制，逐渐扩充了大批的阿速、康里、畏兀儿以及汉人等。他们的任务既是先锋军，也作镇守军。西征归来后，将他们安置于宁夏、甘肃、陕西、青海等西北省区与西夏部分遗民交错而居，开渠屯垦，长期融合。此外，在新疆的昌吉、阜康、吉木萨尔、伊犁河流域、喀什噶尔、和田等地都有回回屯田。另据记载，当时在陕西京兆、延安、凤翔三路探马赤军诸色人户约有6万户，元廷令他们“随地入社，与编民等”。当时西征归来的探马赤军中，大部被安置于宁夏屯垦。赛典赤·赡思丁出任陕西五路西蜀四川行中书省平章政事时，曾率一批西域军民来此屯垦。其长子纳速拉丁后任陕西平章政事，“子孙众多，分为纳、速、拉、丁四姓，居留各省，故宁夏有纳家户，长安有剌（拉）家村。”
忽必烈的一孙名曰阿难答，承袭其父职为安西王，由于他信仰了伊斯兰教，于是在他的影响下他所率领的15万士兵，多数皈依伊斯兰教，并融入到回、东乡、保安等民族中，成了新形成的其他民族的重要来源。可以说，蒙古人为巩固他们的统治政权，保持他们特权，不得不统治、监督其他民族。这样做的结果是，把自己的很大一部分逐渐被同化于其他民族之中了。
回回人世代保持着伊斯兰教信仰及其制度和习俗。元朝统治者对各种宗教采取兼容政策，因其俗而治其民。据成吉思汗的“大札撒”，给予伊斯兰掌教人员答失蛮等以免除赋役的优待，伊斯兰教的礼拜寺、佛寺、道观同样得到蒙元朝廷的保护。回回人的宗教活动和生活习俗都不受限制，他们移民散居中国各地，被编入当地户籍，统称回回户。他们长期与汉族人民杂居，经历数代，受到汉文化日益深刻的影响。他们讲汉语，读儒书，仿效汉人的姓氏字号定姓立名，与汉人、蒙古人、维吾尔等多民族成分和多元文化相融合而形成了新的民族共同体。在接受汉文化的同时，他们仍保持着自己的宗教信仰与习俗，也因为伊斯兰教信仰而往往聚居于礼拜寺附近，形成大量回回村、回回屯、回回街区，从而发展形成小聚居、大分散格局。色目人的这种大杂居和小聚居格局，为中国的新的民族回族的形成打下基础，创造了重要条件。
在清代，将新疆的回回称为“汉回”，为与维吾尔相区别。乾隆时期，新疆大兴屯垦，陕西、甘肃等地的回族居民开始迁入新疆。其中有三次移民规模比较大，人数比较集中。一是公元1777年。在河州王伏林“聚众念经，拒捕伤差一案”中，受到牵连的妇女、幼童2万人被发遣到新疆，被安插在乌鲁木齐、昌吉、米泉一带。二是公元1781年。甘肃、宁夏、青海地区哲合仁耶（新教）穆斯林举行反清起义，被清政府镇压后，有大批的起义回民家属被发配到新疆伊犁。三是公元1877年。新疆建省后的首任巡抚刘锦棠，在轮台、库车一线截获被中亚浩罕反动军事头目阿古柏裹胁的乌鲁木齐、吐鲁番等地的回族、蒙古族群众及已收服的白彦虎残部，全部安置于今巴音郭楞蒙古自治州的焉耆县。左宗棠请示清廷设立抚揖善后局，资助这些人在此地定居生活，主持抚揖善后工作的费道周，还从关内招募回民数百户，资助耕牛、农具、种子及生活物资，让其定居。仅此两项共安置回民男2200余丁、女1600余口。这是迁入焉营的最大的一批陕西回民，这些人初到焉耆经营农牧业，从事商业活动。1928年，甘肃固原地区回族新老教派掀起争战，不少人流离失所，有些人流入焉耆定居。1933年，随马仲英入疆的国民党军队部分回族兵留居焉耆兵营，也有不少开小差和被裁减的回族官兵在焉耆落户。从此焉耆便成了回族聚居较为集中的一个地区。新中国成立后，也有不少甘肃、青海和宁夏的回民寻亲访友来此落户，到1990年第四次全国人口普查时，焉耆县回族人口达24209人。
新疆的回族主要聚居在昌吉回族自治州、巴音郭楞蒙古自治州焉耆回族自治县及其他的5个回族乡。昌吉回族自治州于1954年7月8日成立，辖有昌吉、乌鲁木齐、米泉三县。1955年3月改名为昌吉回族自治州，1958年将玛纳斯、呼图壁、奇台、吉木萨尔、阜康、木垒等县划入本州管辖。1959年将乌鲁木齐县划归乌鲁木齐。1983年后，昌吉市、阜康县、米泉县相继建市，把米泉县划入乌鲁木齐市米东区。
回族人信仰伊斯兰教，分为大坊和小坊两个教派。坊是“格底木派”和“虎夫耶”门宦的统称，小坊专指哲合林耶门宦。
