1900年，张作霖得到一个改变他一生的机会——他在岳父的帮助下，在赵家庙成立了一个二十人的保安团，他担任团长。张作霖在管辖区内很守规矩，不仅遵章守纪，而且卖力地维护治安。没多久，这个地区的匪患得到了极大遏制。张作霖得到了村人的交口称赞，他由此声名鹊起。渐渐地，他管辖的范围逐渐扩大，达到了二十多个村子。

几年后，社会秩序逐步稳定，张作霖苦心经营的势力范围也有所扩展。就在这时，他接受了官府的“招安”，当了一个营长。他的队伍亦移驻新民府，负责地方治安，并兼剿胡匪。

就这样，张作霖由一个民团武装的头目摇身一变，成为了政府官军的军官。这是他人生的一个重大转折。从此，依靠这支武装，他便平步青云，扶摇直上。

张作霖为人机敏，长于计谋。1904年2月，在我国东北爆发了臭名昭著的日俄战争。两个帝国主义国家在我国东北展开厮杀。而无能的清政府竟然宣布辽河以东为战区，以西为中立区。

可是战争一打响，哪还有什么中立区？　　

处在辽西的新民府是个重镇，盘踞在此的张作霖除了要维护境内的治安外，还在盘算如何增强自己的实力，向外扩张。他的原则是谁给我好处，我就帮助谁。

一开始，俄军强大，他就接受俄军的枪械和金钱，帮助俄军打日军。

后来日军扭转了局势，他被日军俘虏，差点被处死。但由于他同日军签订了誓约，“立誓援助日本军” ，张作霖捡回了一条小命。也正是从此开始，张作霖同日军攀上了关系。

在日俄两国战争夹缝中生存的张作霖，充分显示了他处理复杂问题的能力。1905年日俄战争结束后，他的部队不但没受损失，反而扩编成了3个营。

1906年，张作霖又晋升为统管5个营的统带。

此后，张作霖经过一番明枪暗箭、闪转腾挪的斗争，渐入“佳境”。

 1912年，清朝灭亡，袁世凯出任大总统后，张作霖被任命为第27师中将师长。袁世凯称帝后，他又被封为子爵、盛武将军，督理奉天军务兼巡按使。袁死后，他被北京政府任命为奉天督军兼省长，1918年9月又被任命为“东三省巡阅使”，同时取得了日本人的支持，利用日本的势力控制了黑、吉、辽三省，成为奉系军阀的首领。