皇后和太子觉察武帝对他们母子的逐渐疏远，开始常常陷入惶恐不安之中。武帝知道后，让卫青向皇后、太子转达：我朝很多大事都还处于草创之中，周边外族对我们侵略不断，朕不得不对内厉行改革，对外大力征伐;否则后代子孙治理政务没有法度可以遵循，国家也没有真正的太平局面。因此，朕在位期间百姓十分劳苦，但是，后代子孙继续像朕这样做，就等于重蹈了亡秦的覆辙。太子性格沉稳仁厚，这正是守成之君所必须具备的品格，保持国家的稳定与安宁没有人能胜过太子了！听说皇后和太子有不安之意，请你把朕的意思转告给他们。

武帝特意请卫青做中间人，显然是有深意的。与其说，他这些话是在安慰皇后、太子，不如说，他主要是为安慰自己这位战无不胜的大将军。这位在战场上敌人不可战胜的大将军，是西汉以强盛帝国的姿态屹立于世界东方的重要因素。

以武帝的雄才大略面对仁弱的太子自然是不满意的，他在安慰太子的同时，似乎也在安慰、说服自己，也许有卫青的辅佐与支持，太子可以担负得起自己身后的这大片锦绣河山的安宁与稳定。

然而，天不假年，威名赫赫的大将军在五十岁左右就逝世了。在卫青去世之后，朝中的奸佞大臣看到太子失去了这个坚强的后盾，开始肆无忌惮地陷害太子了。太子被迫起兵自卫，后来兵败自杀。

卫青在世的时候，连汉武帝都主动维护太子以安定大将军之心，其他人更不敢构陷卫家和太子。卫青封侯之后，卫氏家族开始兴起，卫家有5人封侯。然而仅仅维持了24年，5个侯爵被剥夺，卫氏家族再也没有封侯的了。到了征和年间，太子兵败自杀，卫氏家族也基本覆灭了。