在赵尚志的一再要求下，中共满洲省委同意赵尚志离开哈尔滨，秘密前往巴彦县。赵尚志化名李育才，领导巴彦游击队，横扫松嫩平原的日军。引起了日军的恐慌。游击队解体，赵尚志第一次被开除党籍：但是，1933年，赵尚志的部队有人擅自缴了两个鄂伦春族牧民的猎枪，激起了数百名鄂伦春牧民的围攻，赵尚志只好率领一部分战士临危奔走。
不久，赵尚志部队又遭到日本关东军的包围合击。就这样，赵尚志的抗日部队在接二连三的沉重打击之下解体。因为赵尚志是这支队伍的负责人，中共满洲省委追究其责任，将他开除党籍。从马夫到参谋长——抗日红心不曾改变：赵尚志虽然被开除党籍，但坚持抗日的一颗红心不曾改变。1933年4月，赵尚志来到宾县，作为马夫，参加了孙朝阳的抗日义勇军。
有一次，孙朝阳在宾县被日军合围，义勇军处于即将被斩尽杀绝的危险境地。赵尚志毛遂自荐，分析局势，带一支小分队以围魏救赵的方法攻打日军。拯救了孙朝阳的义勇军。孙朝阳没想到一个马夫还能如此足智多谋。其实，赵尚志是黄埔军校第四期的学生，还有多年的实战经验，是知识渊博的老资历军事人才。孙朝阳如获至宝，宾县战役后，将赵尚志提拔为参谋长。
第一次恢复党籍：1933年10月，赵尚志带领七名同志起义，在珠河县（现改名为尚志县）建立“东北反日游击队哈东支队”，赵尚志任总司令。他们接连攻克了五常和巴彦两座县城，给日军以沉重打击。1935年1月，中共满洲省委根据赵尚志离开党组织两年来的表现，作出了《关于恢复赵尚志统治党籍的决定》。1936年，赵尚志任东北抗日联军第三军军长，在半年时间参加了百余次战斗，开辟了汤原、木兰、巴彦、铁力等十余县为根据地。
在根据地里，赵尚志统一指挥军事行动、统筹安排给养和调配干部。还建立了兵工厂、军医院和军事学校。赵尚志的活跃引起日军的恐慌，日伪军悬赏一万大洋通缉赵尚志，叫嚣“一钱骨头一钱金，一两肉得一两银”。第二次被永远开除党籍：令赵尚志意想不到的是，除了日伪军将他视为眼中钉外，还引起自己人的不满。1940年初，赵尚志意外地接到一份中共北满省委发的文件——《关于永远开除赵尚志党籍的决定》。
文件指出赵尚志犯有三大严重错误：一、 赵尚志1936年在党的会议上反对中共中央路线，反对王明、康生的指示；二、 实行左倾关门主义路线；三、 怀疑北满省委主要负责同志为党内奸细，并密谋捕杀北满省委负责人。真相到底如何呢？这真是晴天霹雳，赵尚志真的很冤，当时的情况是这样的：由于日本关东军的严密封锁和疯狂扫荡，东北党组织和中共中央失去了联系。
不过，共产国际所在地苏联与东北仅有一江之隔，赵尚志和苏联共产国际联系较多。而负责东北地区抗日的领导人是王明和康生。但是，王明和康生从来没有去过东北抗日最前线，对东北的抗战指挥仅仅停留在纸上谈兵的阶段。作为长期坚持在抗战一线的、具有丰富实战经验的将领，赵尚志更了解战情战况，所以，对于一些脱离实际的指挥，没有盲目遵从。
于是，在不明真相的情况下，中共北满省委就做出了永远开除赵尚志党籍的决定。抗日救国的热情却依旧没有冷却：被开除党籍，是对一个真正的共产党员最沉重的打击。然而赵尚志的抗日救国的热情却依旧没有冷却。虽然失去了党员身份，却没有停止抗日活动。日本关东军派出了特务杀手：赵尚志频繁的抗日斗争引起了日本关东军的杀机，他们派出了特务刘德山化妆成皮货商，骗取了赵尚志的信任。
刘德山是今天黑龙江省尚志县人，外号刘炮。他本来是个猎人，胆子大，枪法好，但是贪财好色，日军的高额悬赏令他垂涎不止。另外，刘德山是赵尚志的部下姜立新（抗联3军团长）的老乡，很容易接近赵尚志。作为一个长期斗争在抗战一线的指挥官，按理说不会很快相信一个陌生人，那这次为什么轻而易举上当受骗了呢？原来，当时，赵尚志的队伍没有经济来源，处境窘迫，而刘德山以皮货商的身份作掩护，给赵尚志提供了很大的帮助。
当然这些钱都是日本人提供给刘德山的活动经费。刘德山的多次雪中送炭，蒙蔽了赵尚志的双眼，再加上赵尚志也急于想扩大抗日队伍，就轻信重用了刘德山，任命他为指挥副官，还给了他枪和两百发子弹。从此，埋下了一个祸根，赵尚志的生命进入倒计时。刘德山成功地潜伏在了赵尚志身边，但是，由于东北冬季寒冷，大雪封山，刘德山迟迟不能向日军传递赵尚志的消息。
