不过，张作霖还是小看了张宗昌。因为后来张宗昌用实际行动证明，他对大帅还是比较忠诚的。民国十四年十月，张作霖的势力由于扩张的太快，严重威胁到了孙传芳和冯玉祥，因而孙传芳便联络了冯玉祥和江苏、安徽等省的地方军阀共同反奉，从而引发了浙奉战争。1925年10月15日，孙传芳调集浙军四个师另六个旅向上海地区的奉军一个师发动突袭。
当时，奉军在关内一共有11个师（不包括张宗昌的部队），数量虽然不算少，但是这十多个师被分别部署在了直隶、山东、江苏和安徽四个省。兵力太分散。为了收缩兵力实施反击，张作霖便命令驻守上海的一个师撤出。结果这一撤，立即引发了连锁反应。江苏地方部队（投靠张作霖的苏军）认为奉军完蛋了，立即造反，以四个师的兵力将奉军驻守在南京的一个师包围。
江苏督军杨宇霆见势不妙，抛下部队就溜了。杨宇霆这一溜，等于门户洞开，又是一通连锁反应。安徽地方部队认为奉系完了，也立势反叛，包围了安徽的奉军。一时间，江苏、安徽全部沦陷，三个奉军精锐师就被缴械了。眼瞅自己的地盘丢了，张作霖心有不甘，便急调四个师另两个混成旅入关增援，并命张宗昌为前线总司令，让他在淮河一线挡住孙传芳。
张宗昌收到指令后，迅速南下，很快就在淮河一线布防。然而，张宗昌不会打仗，他招兵买马很擅长，真碰到专业军事人才，立马就漏了陷。孙传芳指挥直军抵达淮河一线后，发现张宗昌的正面防线虽然很稳，但他没有在侧翼布置兵力。于是孙传芳专业打业余，指挥部队绕到了奉军防线背后，打了张宗昌一个措手不及。张宗昌情急之下，只得北撤，并向张作霖请求支援。
当时张作霖非常想支援，但由于冯玉祥派兵向直隶和山东进军，抄张宗昌的后方。张作霖害怕被冯玉祥断了后路，便下令让张宗昌撤退回山东。至此，奉系大势已去，整个浙奉战争只持续了24天。以奉系完败告终。在这二十多天的时间里面，奉系损失了三个精锐师，十几个仆从师，连丢江苏、安徽两省。损失非常的惨重。更为要命的是，由于冯玉祥偷袭京津，切断了山东和关外的联系，张宗昌的山东变成了一个孤岛，被冯玉祥和孙传芳围在了中间。
屋缝连夜偏漏雨，就在张宗昌被强敌环伺之际，郭松龄造反，于冀东前线给了张作霖致命一击。这导致张作霖几乎垮台，根本没办法去救张宗昌。这段时间是张宗昌最难熬的一段时间。不过，好在张作霖得到了关东军支持。并在其武力帮助下，顺势发动反击，于巨流河击败郭松龄，逆转了颓势。后来吴佩孚倡议反冯，张作霖、张宗昌、阎锡山三人响应，四人合力在南口击破冯玉祥的国民军。
接连搞定郭、冯后。张作霖强势入关，并在张宗昌和孙传芳等人的拥护下，宣布成立安国军政府，他本人担任安国军司令，张宗昌因护主有功，封为安国军副司令。此时的张宗昌，其势力达到顶点。他的直鲁联军有36个军，将近20万人。基本上跟孙传芳和吴佩孚的实力相当，是当时实力排第四的军阀。但是，直鲁联军是“联军”，不是张宗昌一个人的武装，他只是联军的“盟主”。
比如直隶督办褚玉璞基本上就不听他的指挥，二人实际上是平级关系。所以此时的张宗昌只是“虚胖”而已。并且更要命的是，张宗昌的直鲁联军是在毫无节制，军队编制完全处在失控状态下扩张出来的。连张宗昌自己也搞不清自己到底有多少军队。他刚到山东时，济南人就发现“副官满街走，差遣多似狗”；不久后，民谣就变为“参谋满街走，副官多似狗”；再过段时间，又变成 “司令满街走，参谋多似狗”。
因为他无节制扩军，而部队组织又乱七八糟，时人形容张宗昌的军队是“官比兵多”、“兵比枪多”、“枪比子弹多”，因此“三多”。 所以说，他的部队跟真正的威武之师打起来，根本不堪一击。也没人会替他卖命。民国十五年底，孙传芳被北伐军击败，退到了长江以北。孙跑到北京求援，张作霖指令张宗昌率直鲁联军南下，援助孙传芳。
张宗昌不敢不听张作霖的话，就立即派了直鲁联军南下。 但是前面说了，直鲁联军战斗力太差，别说是跟北伐军打了，就连上海的工人纠察队都打不赢。在上海工人第三次武装起义中，张宗昌的直鲁联军就被工人们打的惨败，灰溜溜的逃回了山东。对张宗昌的败退，张作霖十分恼怒，要追查责任。就在这时，张宗昌得到一个情报，说第八军军长兼海军司令毕庶澄和北伐军总司令蒋介石暗中有联系。
