日本在中国东北驻军的历史要从1895年的甲午战争开始说起。当时的张作霖还不是东北王，只是个默默无闻的小人物。1895年，日军在陆战中击败清军，在事实上占领了辽东半岛。甲午战争之后，日本企图割走辽东半岛，但是这一举动遭到德国、沙俄等国的干涉。最后清政府在《马关条约》赔款的基础上又多支付了三千万两白银，才算从日本手里又赎回了辽东半岛。
1898年，沙俄以“赎辽有功”为由，强迫清政府租借旅顺和大连湾，租期25年。随后俄军把大连和旅顺租借地划为俄国的一个州，这个州便是历史上的“关东州”。关东州的“关”，指得是“山海关”。所以关东就是“山海关以东”的意思。 需要特别强调的是，关东州这个名字是俄国人命名的（俄语为Квантунская область），跟日本的关东平原、关东地区没有任何关系。
此关东非彼关东，名字一样只是巧合罢了。1900年庚子国难，八国联军组团侵华，沙俄除了派遣18000人参加八国联军外，又独自出动了13万大军入侵东北。在经过了四个多月不太激烈的交战后，清军驻守在东北的九万官兵被全歼，东北三省全境在事实上被沙俄侵占。《辛丑条约》签订后，沙俄忽悠七国联军从中国撤军，而被它独自侵占东三省，它却一直不撤军。
从1900年至1905年，俄军在东三省非法驻军了五年之久。这里说一下张作霖。他在沙俄侵占东三省的这一时期，趁乱发了家。由于当时俄军吹枯拉朽的团灭清军，盛京将军望风而逃。官军跑了，地方大乱。很多财主害怕被洗劫，就邀请像张作霖这样的绿林好汉出来维持治安。张作霖也不含糊，他在奉天赵家庙组织了一支队伍，严明军纪，保境安民，受到了当地老百姓的赞誉。
他由此声名鹊起，这为后来他称霸东北积攒了基业的第一桶金。沙俄在东北赖着不走，让英国很不满意。因为英国一直视中国为自己的势力范围，沙俄一口气吞了东三省，它很嫉妒。为此，英国通过外交斡旋让沙俄撤军。但是沙俄拒不理会，于是英国决心拉拢一个马前卒对沙俄开战。而这个马前卒就是日本。为什么是日本呢？因为沙俄在中国东北驻扎重兵，威胁到了日本在朝鲜的利益。
起先日本还主动向沙俄示好，希望通过放弃它在东北的利益，换取沙俄承认日本对朝鲜的控制权。然而沙俄看不起日本，坚持要把朝鲜半岛变成中立区，并且俄军还进驻朝鲜，故意威慑日本。这一下触动了日本利益，使得日本下决心掏老本对沙俄开战。1902年，英国与日本签订《英日同盟》，明确支持日本打沙俄。签约后，英国放出狠话，声称日本是自己的盟友，日俄交战，如果谁敢帮沙俄，就是与英国为敌！远在美洲大陆的美国立即响应英国，给日本提供了大量的现金支援。
欧洲大陆的国家由于都惹不起英国，便都没有明确表态支持沙俄，只有德国和法国私底下帮忙，但最终也没有起到什么作用。比较搞笑的是，英俄后来和解，德俄反而还翻脸了。一战期间掐的那叫一个狠呐。1904年，日本完成战备工作，在征得清政府的同意之后，出兵三十万，攻打沙俄驻扎在东北的驻军。日俄战争由此爆发。这场战争的过程就不说了，从性质上讲，这是一场帝国主义践踏中国领土主权的不正义战争。
1905年7月，持续1年零5个月的日俄战争最后以俄国的失败而告终。战后，沙俄根据《朴资茅斯条约》，将自己在旅顺、大连湾及附近领土领水租借权，无条件的转让给日本。于是，沙俄强迫清政府租借的关东州，就变成了日本人的关东州租借地。日本人获得了在关东州的驻军权和治理权，并且还获得了南满铁路的经营所有权。当时的关东州和南满铁路沿线，实际上就是日本在中国的殖民地。
在当时，不管是清政府还是后来的张作霖政府，都无权进入关东州和南满铁路沿线。如果不经同意擅自进入，就形同于对日本开战。日本接收关东州后，没有改名字，而是继续沿用了关东州这个名称。据说不少日本人当时想改一个威风的日本名字，但是伊藤博文认为不应该刺激清政府和沙俄政府，隐藏日本对侵吞整个满洲地区的野心，便没有改名字。
只是把被沙俄改为达尔尼的大连又重新改回为大连。需要重点说一下的是，在日俄战争前后的这段时间，张作霖利用东北大乱的局面，成功的从一名绿林土匪改头换面的变成了清政府的巡防营长官，并且还傍上了日本人的大腿。1901年，张作霖被土匪金寿山偷袭，兵败之下的张作霖逃往八角台与张景惠合股，被推为团练长。1902年，张作霖接受诏安，被任命为奉天马队管带（相当于营长）。
