在楼圭泼水筑冰城的计策下，曹操大军得以分批渡过渭水，马韩联军数次挑战，曹操只是不应战，联军只能请求割地，送人质请和。曹操采取贾诩的计策，假装答应，然后在阵前和韩遂谈言欢笑，让联军猜疑韩遂，曹操又写了一封涂改伪招安信给韩遂，离间关中联军，导致了关中联军的军阀们相互猜疑。曹操趁此机会发动攻击，在渭南一带发动大决战，联军大败，成宜、李堪等战死。
潼关大战后，总计军民死伤数以万计，曹操也后悔没有听卫觊的话，逼反关中诸将。据《江表传》记载，期间马超韩遂在与曹操当面谈判时，马超自负其勇力绝人，在马前放置六斛米囊，骑马来回奔走，用斛米测量曹操的体重，想要暗中偷袭擒捉曹操，但听说曹操的护卫许褚，勇猛过人，所以放弃了这个想法。曹操不久后知道，心有余悸，说：“差点被狡猾的贼人所欺凌。
”马超、韩遂再次派使者送信给曹操，想割河西之地请和，但曹操不同意，马超于是退兵回到了凉州上邦，郡人任养率自己的部众迎接马超。曹操追兵到安定后，因为河间有人反叛，于是撤军回东边，当时作为使节的杨阜劝说曹操：“马超有韩信、英布那样的勇略，又深得羌人、氐人的拥戴，整个西州都非常敬畏他，如果大军归还，不做周密的准备，恐怕陇上诸郡县，就不再属于国家的了。
” 曹操虽然明白马超的厉害，但河间战事迫在眉睫，就先撤兵回许昌，不过还是留下夏侯渊、张郃的名将把守要害。建安十七年（212年），正月，马超潼关之战失败不久，就迅速兼并陇上诸郡县（陇西、南安、汉阳、永阳等），张鲁也遣大将杨昂相助马超，共集结万余人，围攻凉州刺史韦康于凉州治所冀城（今甘肃甘谷县南）。三月，凉州刺史韦康派阎温秘密出城，向夏侯渊求救。
阎温乘夜潜水出城。第二天，马超军发现阎温的踪迹，派人追踪拦截他，马超军在显亲界内追上阎温，将他捉住去见马超。马超解开他的捆绑，对他说：“现在胜败已经分明，您为了孤城请救兵却被人捉到这儿，怎么施展大义呢？如果听我的话，告诉城里，东方不会有救兵前来，这是转祸为福的计策，不然，现在就把你杀掉。”阎温却假装应允，马超便用车载着他来到冀城城下。
阎温朝着城内大声喊：“大军不出三天就会来，努力呀！”城内的人都为他哭泣，祝祷他万岁。马超恼怒地责问他：“你不要命了吗？”阎温不回答。当时马超久攻不下，所以慢慢引诱阎温，盼他回心转意。又对他说：“城里的朋友，有想跟我同心合力的吗？”阎温又不理睬，马超便严厉地责怪他。阎温说：“事君之道只有一死，您却要让长者说出不义的话，我难道是苟且偷生的人吗？”马超于是杀了他。
五月，曹操抓捕在邺城的马超族人（包括父亲马腾，二弟马休，马铁等），计三族人，全部斩杀。另一方面，又派夏侯渊为首的征西部队前去冀城救援。八月，夏侯渊援军依旧未到，韦康开城投降，马超占据冀城，默许张鲁部将杨昂处死刺史韦康。夏侯渊领兵前来攻打，行军到距离冀城二百余里的时候，马超率领军队来战斗，击败了夏侯渊援军。
随后百顷氐王杨千万与兴国氐王阿贵也起兵响应马超，率军屯于兴国，夏侯渊于是撤军回长安，两年时间不敢西进。马超以冀城为根据地，割据陇上，自称征西将军，领并州牧，督凉州军事。建安十八年（213年），马超割据陇上诸郡县长达一年多，韦康旧部下杨阜、姜叙、姜隐、赵昂、尹奉、姚琼、孔信、武都人李俊、王灵结谋反叛，并派遣从弟杨谟到冀城告诉杨阜另一个从弟杨岳，联合安定梁宽、南安赵衢、庞恭等蓄谋起兵。
九月，杨阜和姜叙率先在卤城起兵，赵衢、尹奉劝马超去攻打，马超听到后，率兵前去攻打，梁宽、赵衢偷偷占据冀城，关闭城门，并杀害马超妻子和孩子。马超大怒，但又攻不进冀城，于是袭击历城，杀死杨阜、姜叙在历城的族人（包括怒骂马超的姜叙母亲） 杨阜于是率领叛军和马超对战，战场上杨阜与宗祖昆弟七人来围攻马超，都被马超杀死，杨阜自己也身负五处重伤犹然死战。
夏侯渊援军赶到后，马超失去了根据地，进退狼狈，只得投奔汉中依附张鲁。 这场战后，杨阜等多达十一人因讨马超的功劳被封侯。建安十九年（214年）春，投靠张鲁后的马超，很受张鲁的欣赏，封马超为当时五斗米道中地位仅次于他的都讲祭酒，还打算把女儿张琪瑛嫁给马超，但是在部下的劝谏下，反悔了。 马超向张鲁借兵，打算反攻凉州。
