許多元史研究者認為，元朝統治階級將國人分為四個等級，第一等是蒙古人，第二等是色目人，第三等是漢人，第四等是南人。還有一說是當時官方并沒有如此明確規定，這只是元代社會中的一個潛移默化的“規則”而已。當然，不管是官方公布還是民間規則，這些等級的存在足以說明元朝是一個等級森嚴的時代。

其實，這種情況在古代封建社會并不奇怪，因為人們很早就已經利用“上九流”“下九流”等來劃分每個人的職業和地位。元朝時期，統治者也曾按國人所從事的職業將其分為十個等級：一官、二吏、三僧、四道、五醫、六工、七匠、八娼、九儒、十丐。另外，早于元朝的遼朝和金朝分別將契丹人和女真人列為上等人，后來的清朝更是將已經是上等人的滿洲八旗又細分為“上三旗”和“下五旗”，所以說等級制度自古就有，直到現在都可以說沒有徹底消失。

言歸正傳，我們繼續來探討元朝的等級劃分，很多人對排在第二等級的“色目人”存在疑問，比如說色目人具體指的是哪些人，他們是否對元朝的建立有過特殊貢獻，不然為何他們的地位如此之高——僅排在蒙古人之下而在漢人和南人之上。

先來說說色目人的范疇。如果實在搞不清楚，我們可以先來試一下排除法，由于元朝將全部國人分為四個等級，那我們只要弄清楚其他三個等級的人就行了。排在第一等級的蒙古人自不必說，第三等級的“漢人”一般指的是淮河以北原金國統治下的漢族、契丹、女真、高麗等族以及較早被元朝征服的四川、云南兩省的人，第四等級的“南人”一般是指淮河以南較晚被元朝征服的原南宋境內的各族人。以此我們可以推斷，所有不包含在這三個等級以內的人，都可以被稱作是“色目人”。

一般來說，元朝時的色目人主要是指我國古代西北地區各民族以及來自中亞，西亞、東歐等地的人，比如說欽察人、花拉子模人（波斯人）、阿拉伯人、西域人、畏兀兒、回回等（還有蒙古高原一些較早歸附的部族也被歸為色目人，如汪古部等）。色目人之所以地位如此之高，主要是因為他們在蒙古擴張初期較早歸附，特別是蒙古西征歐洲時帶回來的西亞、東歐等地的工匠能人甚至軍隊，他們在忽必烈建立元朝的過程中起到了舉足輕重的作用，所以率先取得了元朝統治階層的信任，以至于元朝的許多重要官職除了蒙古人外，其余均由色目人充任。

根據歷史記載，蒙古人的強項是行軍打仗，而色目人的強項則是管理和理財，所以蒙古人在劇烈擴張時期，經常會利用一些色目人來管理經濟和財政，包括與東、西方國家進行貿易，向所統治區人們發放高利貸等等，使得色目人很快便掌握了蒙古人的經濟命脈，以至于歷史上移居漢地的色目人，大多不是高官厚祿，就是商賈巨富，他們的地位自然也因此水漲船高。

古代講究殺人償命，但在元朝并不如此，因為蒙古人本身比較少，可謂“死一個少一個”，所以元朝的法律必然要偏袒蒙古人，網上一度流傳元朝的法律規定：“殺蒙古人的償命，殺色目人的罰黃金四十巴里失，而殺死一個漢人，只要繳一頭毛驢的價錢。”這種說法至今尚未找到明文規定，其中或許存在夸張的成分，但蒙古人和色目人在當時的地位由此可見一斑。

關于色目人的種類，歷史上也有爭議，元末明初文史學家陶宗儀在《南村輟耕錄》中指出色目人一共有31種，而清代學者錢大昕則認為色目人一共有33種之多。另外，還有一個專門研究元史的日本歷史學家箭內亙認為色目人應該只有20種左右。不管具體數字如何，我們從中可以看出，色目人其實只是一個統稱而已，其中包含了諸多不同民族。

還有一種說法，說“色目人”其實就是眼睛有顏色的人（比如說藍眼睛的白人），其實這種說法是很不準確的，因為“色目”一詞早在唐朝就有，原指“各色名目之人”也就是“各種各樣”“雜七雜八”的人。如果套用元朝的規定，那些“眼睛有顏色的人”肯定就是色目人，但色目人的種類遠不止于此，因為還有很多生活在我國西北的少數民族也被劃分為“色目人”。

元朝滅亡后，色目人在漢地失去地位優勢，他們一部分被驅逐殺害，另一部分逐漸與當地蒙古人、漢人、畏兀兒人融合，形成了我國現在的回族以及撒拉族等少數民族。