他和这些手下一合计，从东北进了50支枪，卖给了附近村里的民团。后来事泄，被民国政府通缉。徐二黑得到消息，马上打点东西潜逃了，当时是“异地出警，”民国时期很乱，怕地方官营私舞弊，直接派武强警长带人前往捉拿，结果扑了个空，临走时捉走了其四弟，他父亲凭关系掏了四百大洋赎回了老四。对此，徐二黑怀恨在心。为了泄愤，徐二黑一直寻找机会报复警长。
1928年2月12日，徐将该警长打死在武强戏院，当时他正和太太看戏。这篓子捅大了，杀死国家公务人员，这不是找死吗？他老爸虽然是黑社会的人，但民不和官斗，他父亲毕竟闯江湖久了，对儿子说：“现在有两条道走，要么出家，要么当兵。”徐二黑想了想，对父亲说：“还是当兵去吧。”之后逃往郑州参加了国民党军队。 当了两年兵后，他杀人的风声也过去了，那时社会很乱，是“你方唱罢我登场，勾心斗角，”谁顾得上他这点小事呢！1930年7月，老父亲病亡，趁此机会，徐二黑脱离军队回家奔丧，完事后他的小兄弟又聚拢到了他身边，为了搞到枪，他假意投靠了饶阳县大尹村大土匪王三。
徐二黑原来想找机会偷王三的枪支，然后自己拉队伍。恰好此时有人出重金找到徐让他帮忙。原来王三强抢深县北午村首富王有财的女儿做压寨夫人，王有财也是“世面人物，”岂能善罢甘休，于是托人找到了徐二黑。徐二黑本来有干掉王三的心思，正好借机除掉王三。徐便借与王喝茶之机把王三毙了，这就是典型的“黑吃黑”，徐二黑得到了这支土匪队伍，他成了土匪头子，“有枪有队伍就有一切”，徐二黑插上了腾飞的翅膀。
徐二黑“官匪”一家的生涯有道是“当匪吃粮”，徐二黑队伍壮大了，为了筹措粮食，他除了传统的打家劫舍，绑票劫道外，他还给四邻八乡派任务——交公粮，美其名曰“保护费”。谁要不交，晚上他家的房子必定失火。徐二黑到处招兵买马，抢男霸女，通过横征暴敛，徐搜刮了无数民财。他在沈阳、北平、天津、保定等地购买多处房产，他有5个太太，在不同的地方有5个家。
他时不时的巡视一番。徐二黑虽然没有上过几年学，但此人头脑灵活，随着他土匪的名声远扬，民国政府早就注意上他了，派了多次剿匪队伍，最后都无功而返。徐二黑想到了抱大腿、找靠山。1935年，徐二黑带领他的土匪队伍投奔了国民党二十九军一三二师师长赵登禹，赵登禹任命他为中校团副，带领一个团回到深县组织队伍。有了委任状，徐二黑借势网罗流氓无赖，很快组成几百人土匪团伙。
徐二黑经过漂白身份，现在摇身干的还是土匪的差事。1937年7月7日，七七事变爆发后，深县国民政府县长见势不妙弃城南逃，10月，徐二黑率2000名土匪占据深县城，在城内设保安司令部，自任司令。11月，日本人占领保定，徐二黑率队伍投靠了日本人，当了可耻的汉奸。1938年1月24日，抗日武装锄奸队决定除掉徐二黑，积极布置暗杀活动。
