为了生存，他与弟弟又干起了挖人参、采松子、摘榛子、拾蘑菇、捡木耳的营生。多次假借李总兵校尉的名义，积极扩军，积蓄武备。万历十一年（1583年），王杲之子阿台为报父仇，屡掠边境，李成梁再率大军出击，取阿台的古勒寨及其同党阿海的莽子寨。觉昌安、塔克世再次作为明军向导。李成梁杀了阿台，屠杀女真两千多人。努尔哈赤的祖父觉昌安、父亲塔克世却在这次混乱的屠杀中，被明兵误杀。
这一次，努尔哈赤惊闻祖、父被杀，再集怒火。因明军边廷及时解释，赏赐和安抚（擢升努尔哈赤为建州左卫都指挥使，赏赐大量马匹，武器和粮草）。年方二十五岁的努尔哈赤本想起兵索报父仇，但势孤力单，怎能与拥兵百万的大明“天皇帝”交锋？无奈之下，努尔哈赤乃借口建州左卫图伦城主尼堪外兰，指责他是唆使明兵杀害父、祖的元凶，要求明廷将尼堪外兰送归自己处置。
这一要求，惹恼了骄横跋扈的明朝边廷和明军将帅，视努尔哈赤的“要求”为无理取闹，并一口拒绝，同时宣称要于甲板筑城，令尼堪外兰为“满洲国主”。 这一答复，进一步激怒了努尔哈赤。万历十一年（1583年）五月，努尔哈赤整理祖、父的十三副遗甲率领部众反了大明，去攻打尼堪外兰，取得了攻克图伦城的胜利。从此，拉开了反明的序幕。
万历十二年（1584年）正月，努尔哈赤向李岱驻守的兆佳城（今辽宁新宾下营子赵家村）发动攻击，取胜并生擒李岱。次年二月，努尔哈赤在对苏克苏浒部、董鄂部取得胜利之后，又剑指苏克苏浒部左邻之哲陈部。但因对手准备充分，努尔哈赤无所斩获。当回师至界凡南部太兰冈之时，界凡、萨尔浒、东佳、巴尔达四城之主率四百追兵赶来。
其中有个叫讷申的将努尔哈赤马鞭斩断，努尔哈赤单骑回马挥刀将其劈为两段。四城军兵畏其勇，不敢来战。努尔哈赤在用人上强调六项原则，大意是：必须任用贤人，淘汰庸人；不论亲疏门第，公正举人；不拘一格，用其所长；见贤不举者惩，见愚乱举者罚；奖罚分明，功赏过罚罪杀；奖赏视情况需求而定，惩罚无特殊情况不变。在军事上，努尔哈赤建立旗人制度，明万历二十一年（1593年）前后，努尔哈赤对牛录组织首次进行大规模改造与重建，参照女真人的猛安谋克制，规定300人为一牛录，5牛录为一甲喇，5甲喇为一固山，分别以牛录额真、甲喇额真、固山额真为首领，改编后的牛录被分别隶属于黄、白、红、蓝四旗，以纯色为辨。
这就是后来满、汉、蒙“八旗制度”的开山之作。在军事与外务上，努尔哈赤制定了具体的方针、政策和策略。采取了“恩威并行，顺者以德服，逆者以兵临”，即以抚为主，以剿相辅的方针。他的三个著名原则是：“一为抗拒者杀，俘获者为奴；二为降者编户，分别编在各个牛录内，不贬为奴，不夺其财物；三为来归者奖”。努尔哈赤多谋善断，重视保密。
故后金军经常以少胜多，变被动为主动。万历十四年（1586年），努尔哈赤攻克鹅尔浑，尼堪外兰逃到明朝领地。努尔哈赤请求明边吏押还尼堪外兰，并将他处死。万历十五年（1587年），努尔哈赤再攻哲陈部山寨，杀寨主阿尔太，又派额亦都攻打巴尔达城。万历十六年（1588年）九月，努尔哈赤再战兆佳城，斩城主宁古亲章京。
同年冬，努尔哈赤攻克完颜（王甲）城，消灭了建州女真的最后一个对手完颜部。经过5年的征战，努尔哈赤相继征服了建州五个部落。万历十九年（1591年）正月，努尔哈赤挥师东向，攻取鸭绿江路。开始了他长达25年统一女真的行动。随着势力的逐渐扩大，努尔哈赤的名号亦逐步从“聪睿贝勒”发展至“女真国建州卫管束夷人之主”、再称“建州等处地方国王”、再到喀尔喀蒙古上尊号“昆都伦汗”。
此时的努尔哈赤已经攻占了大部分女真部落。可笑的是：大明王朝对努尔哈赤的野心浑然不查，对其行动视而不见。甚至在努尔哈赤建立“后金”的前一年，蓟辽总督还向明朝廷奏称其“唯命是从”。 万历四十四年（1616年），努尔哈赤在赫图阿拉称“覆育列国英明汗”，国号“大金”（史称后金），成为后金大汗，年号天命。明万历四十六年，后金天命三年（1618年）4月13日，努尔哈赤在盛京“告天”誓师，宣读了“与明朝的七大恨”的讨明檄文，同时率步骑军2万向明朝发起进攻。
