出于種種考慮，劉徹有著一種尊霍抑衛的心理，也就使得霍去病迅速崛起，成為比衛青更耀眼的一顆將星。

元狩二年（公元前121年），漢武帝任命十九歲的霍去病為驃騎將軍，獨自領兵向匈奴出擊，第一次把衛青排擠在軍事行動之外。霍去病在春天、夏天兩次率兵出擊占據河西走廊及湟水流域的渾邪王、休屠王部，殲敵4萬余人，俘虜匈奴王5人及王母、單于閼氏、王子、相國、將軍等120多人。同年秋，奉命迎接率眾降漢的匈奴渾邪王，在部分降眾變亂的緊急關頭，率部馳入匈奴軍中，斬殺變亂者，穩定了局勢，渾邪王得以率4萬余眾歸漢。從此，漢朝控制了河西地區，為打通了西域道路奠定基礎。匈奴為此悲歌：“失我祁連山，使我六畜不蕃息；失我焉支山，使我嫁婦無顏色。”霍去病的風頭一時無兩。

元狩四年（公元前119年）春，漢武帝命衛青、霍去病（時年22歲）各率騎兵5萬，步兵、轉折踵軍數十萬，分別出定襄和代郡，深入漠北，尋殲匈奴主力。霍去病率軍北進兩千多里，越過離侯山，渡過弓閭河，與匈奴左賢王部接戰，殲敵70400人，俘虜匈奴屯頭王、韓王等3人及將軍、相國、當戶、都尉等83人，乘勝追殺至狼居胥山（今蒙古境內），在狼居胥山（今蒙古肯特山）舉行了祭天封禮，在姑衍山（今蒙古肯特山以北）舉行了祭地禪禮，兵鋒一直逼至瀚海（沙漠別稱或曰即今俄羅斯貝加爾湖）。衛青部則遭遇匈奴左賢王主力，憑其指揮能力，衛青迅速命令步兵依靠戰車結成武鋼車陣，由李廣、蘇建各率五千騎兵迂回包抄，兩軍戰了一天一夜，突然遭遇大風沙，漢軍趁機向匈奴軍發起猛烈進攻，左賢王見戰事失利，帶著幾百人馬趁亂逃跑，由于李廣、蘇建未能按時到達戰場，匈奴左賢王得以逃脫，衛青共斬俘五萬人馬。經此一戰，匈奴被漢軍在漠南蕩滌，匈奴單于逃到漠北，“匈奴遠遁，而漠南無王庭”。他和衛青發起的對匈奴的進攻性戰爭，改變了漢朝長此在對匈奴戰爭中的守勢狀態，一舉打敗匈奴。從而長久地保障了西漢北方長城一帶，也就是在漠南地區的邊境安全，此戰為漢朝進擊匈奴最遠的一次。