漢武帝時(shí)期，衛(wèi)青與霍去病是兩顆最耀眼的將星，解決了漢王朝多年以來(lái)的匈奴邊患。元狩六年，霍去病英年早逝，武帝的巔峰時(shí)代也就隨之消逝，再出于政治、經(jīng)濟(jì)等方面考慮，也并未讓衛(wèi)青繼續(xù)出擊匈奴，但對(duì)外的作戰(zhàn)趨于緩和，對(duì)內(nèi)的斗爭(zhēng)越就激烈。

應(yīng)該說(shuō)武帝對(duì)霍去病的死很是痛惜，所以對(duì)霍去病的家人宗族給予了極大的關(guān)愛(ài)，讓他幾歲的兒子霍嬗繼承冠軍侯的爵位，召他的弟弟霍光為奉車(chē)都尉，并享受光祿大夫的待遇。可能老天對(duì)霍去病的妒忌太嚴(yán)重，公元前110年，霍嬗跟隨武帝封禪泰山回來(lái)后，暴斃而亡，年僅十歲，自此霍去病絕后，冠軍侯爵位被撤，而霍光越來(lái)越受到武帝賞識(shí)和信任，后來(lái)更是做到了讓所有權(quán)臣羨慕的地位，當(dāng)然這是后話。

死去的霍去病還能讓武帝痛惜，而活著的衛(wèi)青卻不再享有皇帝的恩寵，戰(zhàn)事的減少、衛(wèi)皇后失寵、衛(wèi)家勢(shì)力龐大等因素，使得武帝對(duì)于衛(wèi)青，感情極為復(fù)雜。公元前116年、112年，衛(wèi)青的三個(gè)兒子衛(wèi)伉、衛(wèi)不疑、衛(wèi)登先后因各種事件削去列侯爵位，但衛(wèi)青并未在武帝面前表露任何不滿(mǎn)，沉穩(wěn)溫和是他的性格，同時(shí)他也深知，只要他還在，武帝對(duì)衛(wèi)皇后、衛(wèi)太子以及整個(gè)衛(wèi)家都不會(huì)過(guò)激的舉動(dòng)，并且武帝不能殺他，不敢殺他，也不想殺他，畢竟大漢無(wú)論從精神還是實(shí)際都需要一個(gè)支柱。

元封五年（公元前106年）衛(wèi)青逝世，漢武帝傷心不已，以當(dāng)年霍去病葬禮的規(guī)格，將衛(wèi)青墓修建成廬山形狀，葬于茂陵?yáng)|北1000米處，謚號(hào)為“烈”。