四路将领各率一万骑兵，迎击匈奴。卫青首征，果敢冷静，深入险境，直捣匈奴祭天圣地龙城，并在龙城之战中，首虏700人，取得胜利。另外三路，两路失败，一路无功而还。这一次李广率军一万出击雁门，因李广威名，匈奴人就以重兵围攻李广，结果在兵力悬殊之下，李广战败被俘。匈奴单于早就听闻过李广的贤明，下令要活捉李广。
匈奴骑兵活捉了受伤的李广，让他躺在两匹马中间的网上押着回去。这样走了十多里，李广假装死去，偷偷看到旁边有一个匈奴骑兵骑着匹好马，就突然跃上那匹马，推翻胡儿，驱马向南跑了数十里，与所属部下回合，回到塞内。这时数百名匈奴骑兵追来，李广就用夺来的胡儿弓箭射杀追兵，终于摆脱了匈奴骑兵的追击。李广败逃回到汉朝，朝廷将李广交给官吏处置。
官吏认为李广损失重大，又被敌人活捉，应当斩首，后来李广就以家财赎为庶人。本来这次汉武帝就是要考核四人领兵打仗的能力，结果只有卫青首战绽露头角，取得了胜利，汉武帝就封卫青为关内侯。战法狭隘凭经验，以近战多败难以立功。正所谓艺高人胆大。李广身材高大，长臂，具有善射箭的天赋，就是子孙和其他人向他学习射箭，也都赶不上他。
李广寡言，不与人多说话，和别人在一起住，就在地上画作战阵图，射箭比射的面宽窄，输了罚酒喝。专门以射箭作游戏。带兵行军，遇到断粮缺水时，见了水，士兵不全喝到水，他不近水边，士兵不全吃上饭，他不尝一口饭。同时呢，李广治军简易，行军无严格队列、阵势，靠近水草丰盛的地方驻扎军队，停宿的地方人人都感到便利，晚上也不打更自卫，幕府简化各种文书簿册，仅远远地布置些哨兵，警戒松驰。
士卒们感激他的宽厚不苛，也安逸于他的驻兵简易不繁琐严格，都乐于在他手下当兵并甘心为他拼命。正如当时和他一样守边的名将程不识评论他说：“李广治军虽简便易行，一旦有敌人突然进犯，他就无法阻挡了。”也许是他的威名所致吧，他也很少造敌突袭。李广率军对敌，总是等到敌人来到几十步之内，箭能射中的距离后，才下令射击。
因此，他带兵作战，多次被敌人围困，损失惨重。就连射击猛兽时，因为过近，他也几次被猛兽伤害过。汉武帝元朔六年，李广又调任为将军，跟随大将军卫青的军队从定襄出击匈奴。各个将领多有杀敌俘敌达到标准因功封侯的，而李广的部队却因斩损相当而没有功劳。又过了三年，李广以郎中令身份带四千骑兵从右北平出发，约好和博望侯张骞率领的一万骑兵汇合北击匈奴。
走了几百里路，张骞军未能如约赶到，却遭到了匈奴左贤王四万骑兵的包围。士兵们都很恐惧，李广不谋画如何突围，只是让儿子李敢独自带领几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，以此表明匈奴人容易对付。在稳定了军心后，李广将骑兵布成圆形阵势，个个持弓搭箭向外。匈奴兵猛攻他们，箭下如雨，汉兵死亡过半，箭也快用完了。
李广便命士兵把弓拉开，不要放箭，自己亲自用大黄弩弓射敌人的副将，射死了几个。这时天也黑下来，匈奴人看一时强攻不破，也就渐渐松懈下来。汉军都面无人色，李广却仍镇定自如地排兵布阵，将士们都很佩服他的勇气。天明时分，张骞援军赶到，匈奴兵只好解围而去。汉军也因为过于疲乏，而不能追击。这次战斗，李广几乎全军覆没。
按汉朝的法律，张骞耽误了约定的日期，当处死刑，出钱赎罪，降为平民；李广的军功和罪责相当，没有封赏。皇帝的忌讳让他与立功无缘。汉武帝时期，几次大规模反击匈奴，卫青、霍去病斩将立功，数次大败匈奴。而李广虽威名远扬，却数次损失惨重吃败仗，这让颇为迷信的汉武帝觉得李广命乖运蹇，因此私下就特别告知卫青，不要让李广冲锋在前，以免对行军打仗不利。
就是李广也很怀疑自己的点背，曾私下对星象家王朔说：“自汉朝开始大规模反击匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人都被封侯。我不比别人差，但却没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，是否曾有过让自己悔恨的事？”李广说：“我任陇西太守时，羌人反叛，我诱骗招降他们八百多人，我用欺诈手段一天把他们全杀光了。
