1902年，张作霖与拜把子汤玉麟摆酒论英雄，他借着酒劲说道：“当今之世，满洲无主，我等不应安居一方，而应将小股流匪合并一起，形成强大势力，而后称霸！


汤玉麟原本是一名车把式，在一次外出赶车时，遭遇到了土匪的打劫，这次遭遇让他愤愤不平，因而便入山落草为寇。



而汤玉麟当了土匪后，凭借着敢打敢拼，勇猛凶悍，不仅成为了土匪的头目，还占据镇安县的虹螺岘自立山头。


之后有一天，张作霖的保险队在中安堡遭遇到了巨匪金寿山的袭击，伤亡惨重，张作霖没有办法，只能够派人到虹螺岘向汤玉麟求助，汤玉麟手上的匪众虽然不多，但各个战斗力十足，他在接到张作霖的求援，出于义气，便带着匪众赶往中安堡驰援张作霖，将巨匪金寿山给打走了，解了张作霖的这次危机。



事后，张作霖对汤玉麟的出手相助十分感激，连声向汤玉麟致谢，并提出要与汤玉麟的人马结合在一起，汤玉麟这边在权衡利弊一番后，同意了张作霖的提议，与张作霖的保险队结合在了一起，双方结合之后，张作霖在汤玉麟的支持下，稳坐保险队的第一把交椅。



1902年，张作霖带着保险队一举消灭了盘踞在台安县的匪众，还顺便将周边的保险队全部收编，进一步扩大了的自己的保险队人马，在辽西地区逐步站稳了脚跟。


张作霖见自己的势力越来越大后，便有了加入官军，谋个一官半职的想法，为此，他特意将汤玉麟叫到一起，摆酒论英雄，他告诉汤玉麟，他不想安居一方，他想要将周边的小股流匪全部合并在一起，然后独霸一方。


汤玉麟听后，觉得张作霖非常有远见，便同意和支持张作霖的想法和建议，这之后，在汤玉麟的支持下，张作霖派人与新民府知府增韫进行联系后，便带着汤玉麟以及手下的保险队投入到了新民府知府增韫的麾下，摇身一变成为了官军，而新民府知府增韫则对张作霖和汤玉麟委以重任，将张作霖任命为马队管带，而汤玉麟则出任马队的哨官。


这之后，汤玉麟协助张作霖不仅消灭了辽西巨匪杜立三，还跟随张作霖在漠北的荒原上痛击和围剿蒙匪陶克陶胡、白音大赉等股匪，立下了不少战功，深受东三省总督徐世昌的倚重和信任。


1912年，清政府覆灭，民国政府成立后，张作霖成为了手握重兵的陆军第二十七师师长，而作为跟随者和心腹下属的汤玉麟则在张作霖的安排下，成为了骑兵第二十七团团长，迎来了他仕途之路上的高峰时段。