西汉时期，公元前60年左右，匈奴虚闾权渠单于死，引起内部分裂，先后出现五单于争立的情况，混战不断，最后发展为呼韩邪单于和郅支单于的相互攻伐，分为南下归降汉朝的南匈奴、留在漠北的为北匈奴。北匈奴曾击败大宛、乌孙等国，强迫四方各族进贡，威震西域，一度领导了匈奴的短暂复兴。前36年，被西汉远征军甘延寿、陈汤等人诛灭。
东汉时期，公元46年左右，匈奴国内发生严重的自然灾害，人畜饥疫，死亡大半。而统治阶级因争权夺利，再次分裂为南北两部。
章和元年（87年），
鲜卑大破北匈奴，北匈奴从此“大乱”
。永元初年（89年），东汉
窦宪率军击败北匈奴，燕然勒功。永元三年（91年），东汉
耿夔再次出击金微山（今
阿尔泰山）大败北匈奴军。此后，北匈奴大部分西迁至
伊犁河流域的
乌孙国，与东汉仍然发生多次战役，便再迁于西边的
康居国。
