九一八事变爆发后，张甲洲动员北平的黑龙江籍同学打回老家去。1932年4月，张甲洲与同学于九公、夏尚志、张文藻、郑炳文、张清林（张革）一行6人，化装成商人，带着德造20响的匣子手枪，先期到达哈尔滨，在与中共满洲省委联系后，开始着手组建东北的第一支抗日游击队。

1932年5月，张甲洲在巴彦县镇东乡七马架小学操场上成立了由200多人组成的队伍“巴彦抗日游击队”。这支尚未成熟的抗日游击队，在张甲洲的领导下，一路破土窑、攻城镇，收缴自卫团的枪支，打得敌人闻风丧胆，许多零散的武装人员也纷纷过来投奔，民众抗日热忱空前，部队也扩大到了600余人，还发展了骑兵大队。

张甲洲认为民族矛盾是当下的主要矛盾，要团结全民族各阶级共同抗日，并提出了建立反日大同盟的口号，创作了《反日大同盟歌》，在游击队和群众中广泛教唱。张甲洲的游击队军纪严明，所向无敌，很快又壮大到了千余人，被改编为“中国工农红军第36军”。

巴彦游击队是我党创建的东北第一支人民武装，打响了中共武装抗日的第一枪。

后来，这支游击队只存在了7个月零27天便宣告解散，最终成了王明“左”倾错误路线的牺牲品，总指挥张甲洲和参谋长赵尚志还被开除了党籍，但张甲洲说：“不管是否开除党籍，我照样生是共产党人，死是共产党鬼。”

1937年8月28日早晨，张甲洲在执行党的任务时，在董老茂屯突遭伏击中弹牺牲，年仅30岁。

1953年1月，周恩来冒雪来到东北烈士纪念馆，久久伫立在张甲洲烈士遗像前：“张甲洲同志，我们又见面了。张甲洲同志，中国人民感谢你！”周总理面对张甲洲遗像三鞠躬！

张甲洲烈士于2014年9月入选民政部公布的第一批著名抗日英烈和英雄群体名录。