如此一来，可以彻底解决吐蕃给西域带来的威胁。然而就在胜利即将到来之际，后方却出问题了。原来这个郭待封也是出身将门，身份尊贵。之前一直与薛仁贵是平级的将领，但此时却作为副将管理辎重粮草，这让他心里很不平衡。他不愿意功劳被薛仁贵独占，于是违背了薛仁贵的安排，擅自带领军队离开大非川缓缓前进。结果，离开了有利地形，唐军的粮草辎重部队被吐蕃和吐谷浑联军围困，死伤惨重。
断了粮草补给的薛仁贵无奈只得从乌海城撤军救援，唐军退回到大非川。吐蕃和吐谷浑联军四十万进攻大非川，唐军惨败。战败后薛仁贵与吐蕃鉴定了停战条款而得以回国。大非川惨败后，朝臣纷纷请求严惩战败将领。薛仁贵对唐高宗做出了自己的辩白:“根据天象显示，不宜西征，出师不利失败，是注定的事。”唐高宗听后大为恼火，直接将薛仁贵贬为庶人，这算是从轻发落了，因为要按照当时造成了严重后果来说，是该直接被处死的。
这说明李治给他留了一条后路。八，再次启用与流放象州。薛仁贵被贬为庶民的这些年到底干了什么，由于史料的缺乏，我们后世也不知道。但是就在他被贬谪以后没多久，朝鲜半岛又开始叛乱了。于是唐朝再次启用薛仁贵，这次他被任命为鸡林道总管。关于薛仁贵任鸡林道总管时发生了什么，国内的史书没有记载。只是说老薛这次又因为惹事情被流放到广西象州去了。
但是在朝鲜古代的《三国史记》中，到是可以梳理出薛仁贵在鸡林州时发生的事情，原来他又打败仗了。当时，由于大唐的势力已经囊括了整个朝鲜半岛，这让新罗很不满。他联合一部分反唐的高句丽和百济国的遗民，趁着唐朝与西方的吐蕃用兵时，不断侵蚀唐朝设置的熊津都督府。战争最终爆发，高宗仪凤元年（公元676年）十一月，薛仁贵率军与新罗军在伎伐浦(熊津江下游入海口处)展开激战，结果是唐军惨败。
由于这次失败，有损国威。所以老薛就被大臣弹劾，再加上自己平时有贪污受贿，喜欢金银珠宝的污点。于是唐高宗很生气，直接把他贬谪到象州去了。当然，这只是一种推测，因为国内的史书中对于薛仁贵被贬的原因只有一句话:“复坐事，贬象州。”《三国史记》中虽然写了薛仁贵指挥与新罗交战并且大败。但仍然存在着许多疑点。所以，老薛为啥被贬的象州，其实还是一个历史悬案。
传说薛仁贵被贬谪但象州以后，又帮助地方官员做了许多有利于百姓的好事，受到了百姓的热爱。所以今天的广西一带也有许多薛仁贵的塑像。这个也不见于史书记载，《唐书》说:“薛仁贵被贬谪象州后不久就遇到了朝廷特赦，又回到了京城。”九，脱帽退万敌。公元681年的时候，李治召见见当时已经68岁的薛仁贵对他说:“以前在万年宫，要是没有你，朕就葬身鱼腹了。
你曾经上阵消灭过九姓突厥，平定高勾丽，使漠北辽东都俯首称臣，这都是你的功劳，我又怎么会忘记呢？现在辽西不安宁，瓜州沙州的路都不能通了。你怎么就能安稳的睡在家里不给朕指挥打仗呢？”薛仁贵虽然已经年老，但这么多年来，他的威名早就传遍了四方。在那些蛮夷的心中，薛仁贵是个战无不胜的神话。派薛仁贵出征，可以从心理上就压倒敌人。
公元682年69岁的薛仁贵奉命征讨入侵云州的突厥。两军阵前，突厥人就问唐军:“你们这次打仗，将领是谁呀？”唐军回答说:“薛仁贵。”突厥人说:“我听说薛将军流放到象州，已经死了？怎么能死而复生呢？”这时候，薛仁贵脱掉头盔。突厥人仔细一看，大惊失色，都下马行礼，向后缓缓撤退。薛仁贵乘势追击大败突厥军，俘虏上万人，夺取粮草辎重无数，取得了云州大捷。
这是薛仁贵最后的一战，也是接近于神话的一战。第二年，七十岁的薛仁贵在长安病亡。唐高宗很伤心，追封其为左骁尉大将军，幽州都督。并派车马送薛仁贵骨灰回家乡埋葬。一代战神的人生就此落幕。而他的儿子薛讷也成长为唐代战功赫赫的将军，继续书写着薛家的传奇。小说中说薛仁贵的儿子叫薛丁山，这是子虚乌有的。总结：薛仁贵的一生跌宕起伏，十分富于传奇色彩。
这就让民间产生了许多关于薛仁贵的传说故事。随着这些故事的不断演化，在宋末元初时出现了《薛仁贵征东事略》的话本小说，这是现存最早的关于薛仁贵的小说。以后薛仁贵的形象出现于各种杂剧和平话中，艺术形象越发饱满，故事也越来越离奇。到了明清时代，关于薛仁贵及其子孙的故事开始出现。在明代的《唐书志传》和清代的《说唐传》等作品中，薛家的故事被越拉越长，于是就形成了现今我们所熟知的薛家将的规模。
