东汉末年,居住于中国北部的匈奴人，鲜卑人在中原汉族先进文化的强烈吸引下,不断向南迁移。公元216年,曹操分南匈奴为五部,其南单于首脑部驻扎在离石。

南北朝时期有位高僧叫刘萨河，离石胡人。敦煌莫高窟有很多关于他的文献资料和故事画，直接记载其事迹和与其相关的卷子至少有八件，以其事迹为内容的壁画有九幅。

隋末唐初，离石胡人刘龙儿拥有数万兵马，自己号称汉王,以儿子刘季真为太子。唐虎贲朗将梁德击败之并杀了刘龙儿，刘季真与弟弟刘六儿又起兵叛乱，攻陷石州，杀死唐石州刺史王俭。刘季真自封突利可汗,定都于离石，后为唐朝所灭。