提拔為毅軍統領宋慶衛士，後升任伍長。甲午戰敗後被遣返回故里，投身草莽，1902年被官府收編，歷任遼源巡防營馬隊幫帶、統帶。
1912年12月，日本關東都督福島中將路過奉天，張作霖前往拜訪，表示“寧願按日本的指示行動。”當時落合等人將張作霖的情況向日本外務省和參謀本部做了詳細報告，建議日本政府“在對滿政策上，充分研究利用張作霖的方針是必要的”。
袁世凱逼清廷退位、促成共和制期間，張作霖隨東三省總督趙爾巽等一起反對。1912年1月26日，他在拜訪日本駐奉天總領事落合謙太郎時表示說，如袁確已附合共和，“本人亦絕不聽從其指揮，必將自率部隊，我行我素”。同時表示：“我深知日本在滿洲有許多特權，而且和滿洲有特殊關係”，“此時此刻，日本國如對本人有何指令，本人自必奮力效命。”2月3日，他甚至致電袁世凱，表示“如果皇帝退位，成立共和政府，本人即不能聽從指揮”，並認為“吾人既已失去應為之效忠之皇帝，則依附同種之日本，乃屬理所當然。”
袁世凱隨即派密使到奉天，對張進行拉攏。袁竊取中華民國臨時大總統職位後，張被任命為陸軍第27師師長，成為奉天省最重要的實力派軍閥。
1913年10月14日，張作霖以袁世凱親信鎮安上將軍段芝貴代表的身份前往漢城，參加日本組織的滅亡朝鮮的“始政紀念博覽會”和“朝鮮物產共進會”。他在漢城會見朝鮮總督寺內正毅時，“說明中日親善大義，論述滿洲和日本關係，表白自己的親日見解，和寺內肝膽相照”，給寺內留下了極好的印象。
在隨後的袁世凱復闢帝制過程中，張作霖的言行與日方步調一致。1915年9月上旬，他秘密向袁世凱勸進，並稱：“關外有異議者，惟作霖是問，作霖一身當之。”中旬，他聯合馮德麟等19人共呈勸進請願書，稱“實非改進君主制度，不足以奠邦基於磐石。”
12月12日，袁世凱宣佈恢復帝制，張作霖被封為二等子爵。他雖對此不滿，卻仍於中旬呈遞“懇乞速正大位”的推戴書。1916年4月，袁世凱任命張作霖為盛武將軍，督理奉天軍務，兼代理巡按使。袁死後，張作霖的地位不但沒有受到牽連，反而被親日的北京段祺瑞政府任命為奉天督軍兼省長、東三省巡閱使。
當年8月13日，日本人挑起“鄭家屯事件”後，張作霖於15日致電日本關東都署表示道歉。21日，張應關東都督照會，將四平街至鄭家屯沿線30裡內中國軍隊全數撤離。日軍隨即佔據鄭家屯中國兵營，裝設電話線。
30日，日本召開御前會議，決定利用“鄭家屯事件”進一步向中方勒索。日方先是擅自在鄭家屯設立領事館，隨即令駐京公使林權助向北京政府外交總長陳錦濤提出一系列要求：嚴懲肇事官兵、在南滿、東蒙必要地點設警、聘用日本軍事顧問與教官、奉督親往謝罪等。
正在這期間，日本扶植的“滿蒙宗社黨軍”頭目巴布札布在進攻熱河西林縣時被擊斃，曾對張作霖有好感的寺內正毅又上臺組閣。張作霖不失時機地抓住這個機會向自己的日本顧問菊池中佐表示：“我對日本在滿蒙的特殊地位十分了解，對日本開發滿蒙一事”，“抱歡迎態度”；現在中國“南北衝突勢所難免”，“我力避投入政爭旋渦，一意和日本提攜，維持東三省及東蒙的安寧秩序，以專心致力於開發。”他請菊池“把上述各點向總理大臣電達”。【在日方向外交總長提出要求之前，張已經在用日本顧問了。】
得到報告後，在寺內內閣中最富權勢的內務大臣、原滿鐵總裁後藤新平表示支援，他認為，宗社黨的既有表現很不得力，而“張作霖並無宦圖履歷，與中央政府亦無密切因緣，而在滿洲則有特殊之勢力與地位。張離滿洲則別無地位，蓋以滿洲為惟一之勢力範圍也。張氏心中惟有權勢利慾，別無他種知識。彼認日本在滿洲有絕大勢力，反對日本於彼不利，傾向日本則於彼有益。如果利用此特殊之地位，照其心中所認識者而行，則張氏為滿洲專制之王，而日本亦得利用張氏，在滿洲為所欲為。”
於是，日本和張作霖之間的密切合作關係從此確定，張作霖也從此在與日本的相互利用和相互矛盾中迅速成為“東北王”，以至於“滿蒙王”，並最終問鼎北京政壇。日本對中國的侵略，特別是對滿蒙地區的蠶食，也隨之推進。
由於日本藉口“鄭家屯事件”進行侵略，奉天出現了武裝反日的“鐵血團”，1916年12月8日，張作霖下令將該團首領等數十人逮捕下獄。