因此，他带兵作战，多次被敌人围困，损失惨重。就连射击猛兽时，因为过近，他也几次被猛兽伤害过。汉武帝元朔六年，李广又调任为将军，跟随大将军卫青的军队从定襄出击匈奴。各个将领多有杀敌俘敌达到标准因功封侯的，而李广的部队却因斩损相当而没有功劳。又过了三年，李广以郎中令身份带四千骑兵从右北平出发，约好和博望侯张骞率领的一万骑兵汇合北击匈奴。
走了几百里路，张骞军未能如约赶到，却遭到了匈奴左贤王四万骑兵的包围。士兵们都很恐惧，李广不谋画如何突围，只是让儿子李敢独自带领几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，以此表明匈奴人容易对付。在稳定了军心后，李广将骑兵布成圆形阵势，个个持弓搭箭向外。匈奴兵猛攻他们，箭下如雨，汉兵死亡过半，箭也快用完了。
李广便命士兵把弓拉开，不要放箭，自己亲自用大黄弩弓射敌人的副将，射死了几个。这时天也黑下来，匈奴人看一时强攻不破，也就渐渐松懈下来。汉军都面无人色，李广却仍镇定自如地排兵布阵，将士们都很佩服他的勇气。天明时分，张骞援军赶到，匈奴兵只好解围而去。汉军也因为过于疲乏，而不能追击。这次战斗，李广几乎全军覆没。
按汉朝的法律，张骞耽误了约定的日期，当处死刑，出钱赎罪，降为平民；李广的军功和罪责相当，没有封赏。皇帝的忌讳让他与立功无缘。汉武帝时期，几次大规模反击匈奴，卫青、霍去病斩将立功，数次大败匈奴。而李广虽威名远扬，却数次损失惨重吃败仗，这让颇为迷信的汉武帝觉得李广命乖运蹇，因此私下就特别告知卫青，不要让李广冲锋在前，以免对行军打仗不利。
就是李广也很怀疑自己的点背，曾私下对星象家王朔说：“自汉朝开始大规模反击匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人都被封侯。我不比别人差，但却没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，是否曾有过让自己悔恨的事？”李广说：“我任陇西太守时，羌人反叛，我诱骗招降他们八百多人，我用欺诈手段一天把他们全杀光了。
直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸背运，没有比违心斩杀已降更大的了，这也许就是将军不能封侯的原因吧。”元狩四年（公元前119年），汉武帝发动漠北之战，由卫青、霍去病各率五万骑兵从定襄、代郡出击，跨大漠远征匈奴本部，李广几次请求随行，汉武帝起初以他年老没有答应，后来经不起李广的再三请求，就同意他出任前将军。
汉军出塞后，卫青得知了单于驻地，就决定亲自带精兵追逐单于。作为前将军的李广本应该与主帅一同追击，卫青却让他并入东路军约期配合主路军。原来卫青临出征时，曾受汉武帝暗中警告，说李广年老，命数不好，不要让他与单于对阵，不然恐难实现俘获单于的愿望；同时呢，卫青的好友公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起追击单于建功，以恢复其爵位。
正因为这两点，卫青才故意把李广并入东路军攻击匈奴。东路迂回绕远，而且缺乏水草，势必难以如期与主军汇合。李广也知道卫青用意，但他年老力衰，恐怕以后再没有立功封侯的机会了，就据理力争，却遭到坚决拒绝。李广很生气，对卫青不辞而别，领兵与东路军汇合后就出发，因没有向导，路况不熟，军队就不断迷路，以致不能与主路军如期汇合截击匈奴，卫青与匈奴激战，也没能活捉单于，只好收兵。
李广误期，卫青要给汉武帝上书报告军情，就派人向李广问询误期情况，李广不回答。卫青再派长史急令李广幕府人员前去受审对质。李广说：“校尉们无罪，是我迷失道路，我现在亲自到大将军幕府去受审对质。”到了大将军幕府，李广对他的部下说：“我从少年起与匈奴作战七十多次，如今有幸随大将军出征同单于军队交战，可是大将军又调我的部队走迂回绕远的路，偏偏迷路，难道不是天意吗？况且我已六十多岁，毕竟不能再受那些刀笔狱吏的污辱。
”于是就拔刀自刎了。李广军中将士都为之痛哭。百姓听到这个消息，不论认识李广与否，不论老少都为之落泪。李广武功有余智略不足，是个极好的战将，却不是一个好的统兵将帅。小打小闹，奋勇冲杀，是他的强项；但治兵筹谋，率大军作战，他就颇显不足。他凭着自己的精技经验，常年驰骋边境，奋力拼杀，守边卫边，爱兵如子，令匈奴人胆寒。
