不过也就是在此时，耶律大石病死了。没能带领西辽再创更大的辉煌。而在他死后，由于关于怎么管理葛逻禄人的问题，之后的萧塔不烟，耶律夷列，耶律普速完三位西辽统治者，都处理的不好。于是西辽的国力也就越来越弱。那么，这是个什么问题呢？简单点说，是这样的。西辽承袭辽制，征服了什么部落，就让什么部落按照旧制，该怎么过还是怎么过，不会改变原有的生活方式和生活习惯。
这类似于中原的西周时代，周王室分封诸侯，周天子只管理王幾之地。耶律大石来到新疆之前，当地的霸主是东喀喇汗国。葛逻禄人是被东喀喇汗国统治的二等民族，一直不能当家做主。为了能够当家做主，葛逻禄人主动向耶律大石称臣，非常卖力地为其征战。西辽能大败赛尔柱帝国，葛逻禄的贡献很大。但很可惜的是，葛逻禄的卖命，并没有换来任何回报。
西辽统治中亚后，依然让东喀喇汗国维持在新疆的统治，而给西辽卖命的葛逻禄人则依然要接受被东喀喇汗国的统治。这一下，葛逻禄人就不干了。造反的事情此起彼伏，前后几十年之久。一直到女皇帝耶律普速完时期，命令收缴葛逻禄人武器，强迫葛逻禄人停止游牧，强迫将葛逻禄人从河中地区迁徙南疆从事农耕，才算完事。但是如此一来，葛逻禄就更不干了，这更加激起了葛逻禄人起义的决心。
西辽的国力在内耗中，消磨的很厉害。（把葛逻禄人迁往南疆也加速了当地的突厥化）我们知道，实力这种东西是此消彼长的。就算你的实力不变，可别人在增加，你一样是变弱了。所以当耶律大石死后，西辽国力没有任何增强时，那接下来将要发生的，必然是西辽被新的霸主取代。新的霸主是谁呢？是花剌子模。公元1175年，原本臣服于西辽，作为西辽东北屏障的乃蛮人叛变。
归顺了金朝。这个事，没有引起西辽的注意。因为当时西辽的附庸国，花剌子模在国王摩诃末的统治下慢慢积蓄势力，开始跟宗主国叫板了，不想听西辽的招呼了。为了压制花剌子模，西辽招数用尽，一点办法也没有。而且此时的西辽，最要命的问题还不单是花剌子模，它的国内也出了问题。耶律夷列的儿子耶律直鲁古是个沉溺于娱乐游猎，不理政务，典型的昏君。
他没有能力搞定怀有异心的花剌子模，且本身又不理朝政。结果自然是各附属国纷纷叛离。东部的高昌回鹘投靠蒙古，西面的各部落也全部被花剌子模扫荡，臣服于摩诃末的统领下。到了公元1211年，从乃蛮部投奔西辽屈出律（乃蛮大汗的儿子）看到辖境日益萎缩的西辽王国气数将尽，便发动政变，干掉了耶律直鲁古，自己做了西辽皇帝。
