秦朝灭亡后，秦朝在新秦中地区（今内蒙古鄂尔多斯市）的统治力量渐渐空虚废弛。秦朝时被蒙恬赶往大漠以北的匈奴各部，又陆续返回了新秦中地区。西汉初年，匈奴各部经常出兵攻打汉朝，使汉朝北疆的边患连年发生。到了汉武帝时，国力强盛起来，决定对驻牧在河南地（今内蒙古鄂尔多斯市）地区的匈奴进行征讨。

汉元朔二年（公元前127年），匈奴举兵，汉武帝令卫青为大将军，率军从云中（今内蒙古鄂尔多斯准格尔旗东北部）、高阙（今内蒙古鄂尔多斯北部）一带攻打匈奴，将匈奴打败。捕获匈奴大小首领数千人，截获牲畜百余万。还战胜了楼烦、白羊部族，将已经归入秦朝版图的今鄂尔多斯地区全部占领，设置了朔方郡。

在这一地区兴建郡县城池。建筑今鄂尔多斯北部的朔方城，朔方城为汉朝的北方边境重镇。朔方郡下辖的朔方等县，覆盖了今鄂尔多斯北部一带。汉武帝在朔方郡专设了朔方刺使，加强了对今鄂尔多斯地区的管理。为巩固边疆地区，在卫青的主持下，汉朝从内地迁徙来大量中原民族，在这里屯垦实边，长期驻守。今鄂尔多斯地区再次牢固地统辖在中原王朝的控制之下，使这里的政治、经济得到长足的发展，成了中华民族不可分割的疆域版图。