山西也就因此军事历史极为丰富，经常能够锻炼出百战之师，出晋便能横扫六合。为了增强对这个南北流通的控制力，无论是南北双方哪一家控制了山西，都会对其进行交通上的强化。不仅是在已有的河谷、山坳上铺设道路，甚至还会特意架设桥梁和栈道，强行打通山西各个盆地之间的联系渠道，让兵员和物资的转运更为流畅。山西处于中国第二阶梯至第三阶梯之间的过渡地带，所以山西及其周边有着一连串盆地，将他们有效地连接打通可不容易。
最早开始做这件事的是春秋时的晋国。晋国最早的封地城址位于今天临汾市东南的翼城县附近，初代国君虞的任务就是与其他封国一起，给定都镐京(今西安)的周王室提供东北方向的保护，顺便把盘踞晋北的少数民族再往北推一下。当时的“中原文化”所覆盖的范围还比较有限，分封在山西南部盆地的小国有很多，在其后的周室衰落与兼并战争中晋国逐渐强大(先秦往往灭国不灭庙，很多姓氏的来源正是国名)。
这个任务到了后期当然就变了味，晋国很快控制了汾河下游的盆地，以此为基础征服了周边的小国和北方异族的土地。这些新打下来的土地，就被并入了晋国的管制，大规模的道路修建工作就开始了。三家分晋之后，韩赵魏三国也继承了这一传统继续修路。山西东南部韩国的长治(上党)、魏国的安邑(河东)、山西中部赵国的太原都是重要的战略要地，一直到秦汉帝国时期它们的枢纽地位仍然未变。
如果不是因为三家分晋，统一的晋国很可能将秦国堵在关中永远出不来。后来的魏晋南北朝时期，山西在更长的时间内为少数民族政权所控制。统一工作做得最好的北魏王朝，为山西提供了境内开发的好机会，相继修通了大同至定州的飞狐道、井陉至太原的韩信道、太原至大同的并州大道等重要道路。在通往境外的道路方面，太原到当时的名城邺城(邯郸)的道路是完成度最高的。
除了打通山西内部各通道外，“堡垒山西”的对外通道也非常重要，并与内部通道相连接(如最著名的太行八陉)。山西的交通通达度，从最南方开始往晋中推进了。随后的宋、金、元各个政权都在这个基础上，以军事交通为目的，进一步地提高了山西内部的交通便捷性。这一次得到开发的，是相对靠北的大同。对于汉人王朝来说，大同是北方前线的重镇，需要更好的物资补给条件，对于南下的少数民族来说，大同则是他们进入汉地的桥头堡，在不熟悉对手的情况下必须首先发展此地。
金朝以大同为中心，修建了通往北、西、南三个方向的驿道，而元朝在此基础上增加了驿站系统。大同不仅是进入山西腹地的入口，也是向东通向北京的重要通道，由于临近北方的游牧世界，这里也易于获得大量战马和训练骑兵。以此为标志，山西境内由南向北的交通开发基本全部完成。长条状的表里山河，也有了贯通的渠道，一个强大的商业体系正在这样的基础条件下呼之欲出。
“报君黄金台上意，提携玉龙为君死。”明朝崛起初年，对山西是很不放心的。一方面山西地形复杂易守难攻，元朝势力盘踞已久(元朝在长城以南最后的堡垒)，常遇春、徐达等人甚至是在拿下元大都之后才进兵山西的;另一方面，山西靠近明蒙边界，随时会遭到蒙古高原优势兵力的袭击。因此明朝在山西设置了大量军镇卫所，作为前线的主要防御要塞，防备蒙古人再次南下。
早期的防线甚至一直推进到了阴山、大青山一线。虽然从建文朝开始，山西的卫所体系开始内收，一路退到了金代修筑的长城沿线，但山西北部的防御性质还是没有减弱。山西和内蒙古交界处的明长城，就是这个时代的军事设施。这条防御线向东一直延伸至燕山直至山海关，然而在明末仍然像大车间一样被敌人来回闯荡。强大的边疆军镇给明代提供了不少安全感，却也逐渐成为帝国巨大的经济负担。
山西各地的军镇，守军多时竟达到了百万，而当地寒冷的气候又不适于农耕，转运驻军的粮饷物资让历代明朝皇帝伤透了脑筋。从中原运粮需要穿越黄河和山西南部的山区;从江南调度漕粮则需要从京师转运，而北京城本身就已经是一个吃粮大户了。南北产量差距大，单靠大同等边镇的产量，是养活不了庞大驻军的。所以早在朱元璋在位时，朝廷就根据山西参政杨宪的建议，提出了开中法，允许民间自发组织向北方边境运输粮草。
