汉军出塞后，卫青捉到匈奴兵，知道了单于驻地，就自带精兵追逐单于，而命令李广和右将军队伍合并，从东路出击。东路迂回绕远，而且缺乏水草，势必不能并队行进。
李广就请求说：“我的职务是前将军，大将军却命令我从东路出兵，况且我从少年时就与匈奴作战，至今才得到与匈奴对阵的一次机会，我愿做前锋，先与单于决战。”卫青曾暗中受到汉武帝警告，认为李广年老，命运不好，不让他与单于对阵，恐不能实现俘获单于的愿望。
【当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开。李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写文书发到李广的幕府，对他说：“赶快到右将军部队中去，照文书上写的办。”】
李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。卫青南行渡过沙漠，才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。[17]
卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给汉武帝上书报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。李广说：“校尉们无罪，是我迷失道路，我现亲自到大将军幕府去受审对质。”到大将军幕府，李广对他的部下说：“我从少年起与匈奴作战七十多次，如今有幸随大将军出征同单于军队交战，可是大将军又调我的部队走迂回绕远的路，偏偏迷路，难道不是天意吗？况且我已六十多岁，毕竟不能再受那些刀笔吏的污辱。”于是就拔刀自刎了。李广军中将士都为之痛哭。百姓听到这个消息，不论认识李广否，不论老少都为之落泪。

【当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开。李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写文书发到李广的幕府，对他说：“赶快到右将军部队中去，照文书上写的办。”】
光看这段描写，要不是提前知道卫青是什么样的人，就整一个以权谋私的恶毒小人啊……

关于卫青调走李广是不是以权谋私，给大家介绍下漠北之战卫青手下四个将军：
公孙敖，多次和匈奴作战的老将，因功封万户侯；
李广，也是老将，但之前没有能封侯的战功；
曹襄，新手小白；
赵食其，没啥名气的将军。
如果你是卫青，你发现自己被以逸待劳了，面对这匈奴最强大的主力部队，你会让哪个将军当前锋？