正是基于这样的客观现实，平清盛并未将被自己打败的源氏家族赶尽杀绝，而是采取又打又拉的策略，这意味着那些主动顺服于平家的源氏领主可以在平家的庇护之下保住自己的封地。对于源氏家族中那些和本宗关系较为疏离的支系网开一面进行拉拢倒还可以理解，不过平清盛居然还放过了自己最大的政敌源氏领袖源义朝的两个儿子：源濑朝和源义经。
放过源义经的原因是平清盛在消灭源义朝后纳源义朝的侧室常盘为妾，也许是因为爱屋及乌而对源义经网开一面吧。至于源濑朝却是因为平清盛的继母因为觉得其与自己过世的儿子相似而被放过，这也未免太任性了吧。当然此刻的平清盛根本预料不到自己放过的这两个源氏后裔会给平家带来什么，也许在送源濑朝去流放地时他还会来上一句“好好睁大你24K纯钛合金狗眼看着我平家是如何征服天下哒！”公元1180年（治承四年）平清盛把未满三岁的外孙立为新天皇即安德天皇。
原来的高仓天皇被尊为上皇，实则是被软禁。高仓上皇曾乘坐宋朝赴日贸易的商船出海进行政治谋划，掀起讨伐平氏势力的活动，但最终还是不得不受制于平家。然而正如老话所说”水满则溢，月满则亏“——就在平家势力鼎盛之时三股无法坐视平氏专政的势力也已然成形：除了必然对之不满的皇族及贵族外，武士族群也因为平氏的贵族化，利害关系已经与其渐行渐远而大感不满。
于是在治承四年（1180年）激起了反抗平氏的第一波浪潮：源赖政拥护后白河法皇次子以仁王以对抗平清盛。然而迅速反应的平清盛立即派四男平知盛领军征讨之，最后败逃的以仁王和源赖政两人都被诛杀。然而以仁王讨伐平氏的令旨仍然在全国各地广为传播。1180年八月被清盛流放到伊豆国的源赖朝与其正室北条政子的娘家北条氏联手举兵。
九月信浓国的源义仲也举兵反平氏。为了防止源赖朝的势力坐大，平清盛派遣由嫡孙平维盛率领的大军进入关东。杀入关东的平氏大军在源赖朝起兵当月就令其品尝了一次惨败：石桥山之战源赖朝以三百骑兵力，与平氏武将大庭景亲三千骑兵力正面对峙，结果遭惨败，兵力所剩无几，“遁入山中”。这次失败对源赖朝的教训颇大——从日后的多次战役中可以看出：他吸取了这次失败的教训即在没有充分准备的前提下尽量避免与敌进行正面攻坚战。
从源氏与平氏的几次大决战过程中源赖朝的战略战术思想是战略上求稳，战术上求快，不打则己，一打必胜。1180年阴历十月的富士川之战是源赖朝举兵后的关键一战。这时虽然源赖朝的兵力已相当庞大，军队的战斗力也胜于平氏军，但是源赖朝并没有轻敌。在正面摆出决战态势的同时采取迂回包抄战术，令武田信义率军在夜深入静之时包抄敌后。
武田军通过富士沼泽地时惊动了群集在沼泽地里的水鸭，群鸭惊恐，鸣叫乱飞，“羽音编成军势之壮”。平氏军突闻源军自背后袭来，吓得失魂落魄，慌忙逃窜，源氏军不战而胜。这次战役的胜利大大削弱了平氏的威势，平清盛在失败中一病不起，于翌年阴历二月一命呜呼。源赖朝相继占领房总、武藏、相模等地。1180年阴历十月源赖朝进京，朝廷任命他为权大纳言兼右大将职。
12月源赖朝离京返回镰仓，称“镰仓殿”，同时源赖朝为统一管理御家人建立了侍所。1183年源赖朝建立东国政权，同年朝廷颁布《寿永宣旨》，承认其在东部之统治权。与进入京都的武将源义仲和西国的平氏对立。1184年派其弟源义经率军西征，讨灭源义仲。次年源义经发动经坛之浦之战消灭平氏。同年源赖朝以追捕与院政接近的兄弟源义经为由，在各地设置守护、地头职。
可随着赖朝势力的扩展有许多行政和司法事务要处理，那么建立相应的家政机构，便提到日程上来了。并于1184年阴历十月六日，正式建立了公文所，负责处理行政事务。由大江广元任别当，中原亲能任次官，藤原行政、藤内远元、甲斐四郎、大中臣秋家等为寄人（评议）。二十日成立问注所，负责“诸人诉讼”的裁诀，由三善康信任执事。
至此日后统治日本七百余年的幕府制度正式创立。幕府其实说白了就是凭借武力建立的军政府，当时的日本并不是一个统一的国家，而是分成大大小小的藩国，各藩国由不同的诸侯大名统治。幕府从本质上而言：其实也是一介诸侯大名，只不过是所有诸侯大名中实力最强大的那一个——是普通大名和日本天皇之间的一个中间人：对上要效忠天皇；对下管理各个普通的大名。
幕府的权力就理论上而言来自于尊皇，在名义上幕府也承认天皇是日本的最高主宰，而自己是天皇的臣子。不过理论归理论，实际上可就是另外一回事了。在日本历史上改朝换代的现象是存在的，只不过更迭的都是幕府——自幕府制度诞生之日起日本一共经历了镰仓、室町、德川三任幕府的统治，不过无论这些幕府将军如何更替，一直还是比较尊重日本皇室。
根本原因是：日本特殊的政体——天皇并不干涉幕府的利益斗争，对幕府也没有什么威胁；而幕府将军只是实力更强的大名，没必得罪皇室，招致其它大名的联合反对。事实上整个幕府时代天皇都近似于傀儡。从这个意义上而言：日本皇室所谓的万世一系恰恰是万世一系的傀儡。承久三年（1121）后鸟羽天皇号召讨伐镰仓幕府的执权北条义时，结果镰仓武士集结起十九万大军，最终挫败了万余名朝廷军队——在不到一个月的时间内幕府就占领了京都、设立了新天皇，将后鸟羽天皇流放，参与反对幕府活动的贵族和武士被悉数处死。
此后幕府在京都设六波罗府，由六波罗探题负责京都治安和监视朝廷。天皇失去了掌握军队的权力，也失去了夺回朝政的可能。此后幕府的地位进一步上升——任何力量若要挑战幕府的权威，哪怕是天皇也被认为是叛逆不道，在日语中出现了“天皇御谋叛”一词。在和皇室作战前幕府执权北条义时甚至放话道：“天皇陛下既然好战，那我们就献上十万大军作战给陛下观看”。
但也该看到：这些实力派新兴武士的内心深处虽藐视皇室的军事实力，但对其残留在人们心中的威望始终有所忌惮：皇室在精神上所具有的不可侵犯性在七百余年的幕府时代其实一直存在——尽管新兴的武士政权可以架空皇室，但却没任何人敢冒天下之大不韪而废黜皇室。北条义时本人就时常害怕遭受天谴，他甚至偶尔会魂不守舍——曾因一个霹雳震坏府上的厨房而特地向幕僚咨询吉凶。
1868年日本历史上最后一个武士政权德川幕府的统治终结了。1872年明治新政府颁布了征兵令。在此之前当兵是武士阶级的特权，然而在征兵令颁布后凡年满20岁的成年男子一律须服兵役。有种说法认为：西南战争是穿皮鞋、用洋枪的农民子弟打败了穿木屐、用太刀的武士阶级。这种说法虽过于绝对化，但的确有一定道理——实际上西南战争的确是明治新政府按全新的征兵、练兵模式招募而来的以农家子弟为主的新军用更为先进的西洋装备战胜了由武士阶级为主的叛军。
征兵令颁布之后武士被剥夺了佩刀的权利和时代相传的俸禄。在这一转型过程中以各藩藩主为代表的上层武士由于得到了新政府用于赎买其特权的股票、债券等金融产品而转型为资本家阶级，然而当初积极投身尊王攘夷运动的下级武士则日益陷入困顿之中。在新政府看来：这是国家迈向现代化的必要之举，至于武士阶级的铁饭碗被打破后下级武士要么选择像上层武士一样兴办实业，要么像普通百姓一样务农做工，总之得要自食其力，不能再靠国家供养。
新政府这么想其实并没错，可下级武士们也有自己的道理：他们是为明治新政府的建立流过血的，到头来自己成了改革的牺牲品。1876年明治政府以有息债券的形式一次性偿付武士的退休金，在政府看来：这已是仁至义尽了——农民、工人还没从政府领到过任何东西，而武士拿着这些债券可以进行各种投资。然而这一政策高估了下级武士的智力水平，以致于他们中绝大多数人都因不善经营而破产。
在政府看来：你不会经营是你的事，我已做到了仁至义尽；可在下级武士看来：自己提着脑袋推翻幕府换来的就是自己的衣食无着。双方的矛盾迅速扩大，终于在1877年2月引发了西南战争。到这年七月明治政府成功将叛乱武士镇压下去，至此武士作为日本历史上的统治阶级彻底成为了历史，然而武士阶级所遗留下来的好战风气却并未成为历史，以致于当武士阶级早已成为历史之时武士道传统却被奉行军国主义的日本政府用作士兵的行为规范。
