第一个方面是来自朝廷的打压。丐帮这个组织，大家都十分清楚，向来以抵抗外敌护国为己任。无论是《天龙八部》中，对抗大辽和西夏的入侵，或者是《射雕英雄传》里一直在北边抗击金国，还是《神雕侠侣》中，听从大侠郭靖和他们帮主黄蓉的号令助守襄阳，抵御蒙古军队的攻坚，一直都是不遗余力。护国大义的形象，可谓深入人心。也因此，在《天龙》中，辽国曾派出五大高手，暗中偷袭擒获了前帮主汪剑通，逼迫丐帮向契丹投降。
在《射雕》中，完颜洪烈要处心积虑的去收买人心，让杨康去夺下帮主，和裘千仞一起煽动和鼓动丐帮南迁。而《神雕》中作为蒙古小王爷的霍都，也要伪装成何师我，去夺取丐帮的帮主之位。他们的目的，自然就是为了铲除丐帮。毕竟丐帮的势力一天存在，就会成为他们入侵中原王朝最大的阻碍。杨康这时已然明白完颜洪烈的心意。他早知丐帮在江北向来与金人为敌，诸多掣肘，金兵每次南下，丐帮必在金兵后方扰乱，或刺杀将领，或焚烧粮食，若将丐帮人众南撤，自然大利金人南征。
新修版《射雕英雄传•第二十七回》蒙古帝国对丐帮的憎恨，应当是在这些北方民族政权中最大的。要知道蒙古灭西夏用了22年，蒙古灭金国用了23年，而蒙古灭南宋却持续了45年，其中有38年都在围绕襄樊展开，双方襄阳之战的最后一战，更是打了6年之久。其根本便是郭靖带领着丐帮和武林同道，助守襄阳，对蒙古军队进行了几十年的抵抗，将他们抵挡在襄阳城外，让他们寸步难行。
因此到最后，当他们用“回回炮”攻陷樊城，襄阳城守将开城投降，进城的蒙古军队对丐帮的帮众，回报以屠杀来泄愤，就成了不可避免的事情。更严重的是，当蒙元一统南北，王朝既成，丐帮成为元朝子民，朝廷对丐帮的打压也就是必然发生的，一个王朝为了巩固统治，哪容得这股反动的势力大张旗帜的去壮大。因而襄阳城破致使丐帮元气大伤，而蒙元稳坐天下，却让丐帮只能沉寂前行。
除去朝廷的这个外因，实际上还有另一个外部因素，也在压制着丐帮的发展，这个因素比较隐晦，乃是来自明教的压力。这是由丐帮跟明教结下梁子引起的。在明教第三十一代教主的石教主在位的时候，发生了一件对明教影响很大的事情。因为明教历来行事作风诡秘，与武林门派多有冲突，慢慢被武林名门视之为邪教。丐帮历来以正义自居，对明教也是多有误解。
当日丐帮弟子获悉明教教主行径，暗中偷袭，以丐帮的“杀狗阵”和“坚壁阵”困住了石教主，最终就抢走了他的教主信物，中土明教的镇教圣物“圣火令”。这位石教主毫无防备就陷入丐帮包围，以他的武功又破不了丐帮的“坚壁阵”，以致信物被抢。后来丐帮抢来的“圣火令”虽然被波斯商人明买暗抢辗转带回波斯，最终被波斯明教所收回，但丐帮与明教的梁子却也算是结下了。
要知道，后来的波斯明教为了收回中土明教的“乾坤大挪移心法”，一直要中土明教的教主练成“乾坤大挪移”才能赴总教迎回“圣火令”，摆明就是为了用“乾坤大挪移心法”交换“圣火令”，又不想让中土明教失去传承。但这样一来，中土明教从石教主到三十二代的衣教主，包括后来三十三代的阳顶天，实际上最终都是为了迎回“圣火令”，强练“乾坤大挪移”而死。
这也让明教对丐帮的仇恨更加深入。特别是随着阳顶天时期明教的重新崛起，明教在中原地区各分坛的势力不断壮大，在中原大地不断掀起抗元起义的高潮。明教不但代替丐帮，成为江湖上以民族大义为先的英雄豪杰，实现他们抗元理想抱负的加盟首选，严重阻碍了丐帮净衣派的发展。更是在江湖交涉中，因“圣火令”结下的梁子和仇恨，与丐帮产生了很多纷争和冲突。
当时的明教势大力强，丐帮哪能不受冲击。这一局面，要到张无忌就任明教教主，才得以缓解。因此，丐帮在明里遭受着朝廷的打压，在暗中又遭遇明教的阻碍，这一些都制约着丐帮的发展与前行，造成了《倚天》中这一时期丐帮的沉寂。内部夺权引起的内耗，更让丐帮举步维艰而除去外部因素的影响，实际上来自内部因素的阻碍却是更加严重的。
丐帮这个帮会，其盛衰荣辱，很多时候都系于帮主一人，帮主就是整个丐帮的主心骨。有能人帮主在位，自能凭借他个人的影响力凝聚帮众，无论净污，上下一心，多做大事，以显声威。若是无能人任贤，则往往是上下散乱，内斗不止，特别是净污两派，互不相容，以致各自为要，任人欺悔。这段时期的丐帮，便是在耶律齐之后，再无能人帮主在位。
