元封五年(前106年)，大将军卫青病逝，谥号为烈侯。在上古文献中“烈”是光明、显赫，有宏伟、浩大之意。以此表彰了卫青军功卓越、不平凡的人生之旅。

卫青对卫氏家族，乃至太子(卫青的外甥)的命运都有着重大影响。卫青走过了一条上升、圆满的人生轨迹，然而，他的后代却没有能继承他的功业，也没有能继续他的辉煌人生经历。

据《史记·卫将军骠骑列传》记述，卫青有三个儿子：卫伉，卫不疑和卫登。卫青在漠南打败右贤王之后，汉武帝为表示对卫青的特殊嘉奖，册封了这三个尚为孩童或在襁褓之中的幼子。卫伉被封为宜春侯，卫不疑被封为阴安侯，卫登被封为发干侯。

最早，卫伉犯法而丢掉了宜春侯爵位，因卫青娶了武帝的姐姐平阳公主，卫青去世，卫伉才能继承卫青的封国，继续做了长平侯。

6年之后，卫伉犯法而失去了这个爵位。卫不疑和卫登都因交供宗庙祭祀用的金子不合格，丢了爵位。卫青的后代虽然生来富贵，但由于没有建立功业，从而没有能力保持高贵的社会地位。

《资治通鉴》卷二二记述了汉武帝与卫青、太子之间的故事。当初，汉武帝在29岁时才生了太子，这是武帝第一个儿子，自然非常喜爱。随着太子一天天长大，武帝观察到太子个性仁慈宽厚、谦和，似乎没有自己那样精明强干，因此感觉有些遗憾和失望。后来，武帝的其他几位夫人陆续为他生刘闳、刘旦、刘胥和刘髆几个皇子。