首页 > 科技 > 问答 > 科技经验 > 我是曙光曙光明白再引关注,曙光集群系统中如何使用命令切换节点

我是曙光曙光明白再引关注,曙光集群系统中如何使用命令切换节点

来源:整理 时间:2022-03-30 09:30:40 编辑:科技知识 手机版

Redis集群方案应该怎么做?

Redis集群方案应该怎么做

公司redis集群有了蛮大的规模,权且来分享下redis集群!首先,不可否认的是,redis的单机性能相当高,但是就算把内存大量扩大(垂直扩展),也不可能满足大业务需要的性能和可维护性!所以,集群是很好的一个选择,通过集群可以实现水平扩展,提升整体的性能!集群方案1:使用客户端分片的方式,增加多台redis服务器之后,在业务端使用某种路由规则(hash算法等),将不同key对应的数据放在不同的redis服务器中,实现内容分发!但是这样的方式有很多缺点,比如业务代码和redis数据路由代码严重耦合,可扩展性也十分底下,需要增加redis实例的同时,修改原先的分发规则,而一旦出现问题,排查难度大(因为运维和代码端都要查)!集群方案2:使用开源产品twemproxy作为redis代理!中间件twemcache负责接收业务端的请求,然后从不同的redis实例中收集数据传送给业务方,起到一个中间代理的作用!业务端像连接一个redis实例一样连接twemproxy,实现了业务代码和redis之间的解耦合!同时,对于失效的redis会被自动踢出,防止数据的丢失,不过twemproxy作为一个中间件,肯定会对需要实时性强的系统造成性能损失,动态无痕迹的增加redis实例也是很困难的!!集群方案3:使用codis集群,类似于twemproxy,客户端也不需要去连接redis实例,而使用codis作为中间件,让codis底层自己去获取数据,增加的codis dashboard可以对codis proxy和codis server进行统一管理,对实例节点的改变可以有效应对!集群方案4:redis自主集群,使用纯redis实现集群,完全的去中心化!redis集群把所有的key放在16384个slot中,各个redis可以通过重定向引导客户端访问数据所在的集群点,比如client访问redis2,redis2发现数据的key在redis1中,就引导客户端重定向去redis1中取数据,这样不需要别的中间件就能很好的实现数据获取,而且这样的纯redis方式,部署起来也是十分方便的!集群方案5:直接买阿里,腾讯的集群吧,想要啥样的给你啥样的。

在高可用集群中,如何解决脑裂问题?

Redis集群方案应该怎么做

什么是脑裂问题脑裂(brain-split):脑裂是指在主备切换时,由于切换不彻底或其他原因,导致客户端和Slave误以为出现两个active master,最终使得整个集群处于混乱状态。脑裂问题主要有哪些解决方式共享存储fencing:确保只有一个Master往共享存储中写数据。客户端fencing:确保只有一个Master可以响应客户端的请求。

Slave fencing:确保只有一个Master可以向Slave下发命令。 Hadoop的脑裂怎么解决Hadoop公共库中对外提供了两种fenching实现,分别是sshfence和shellfence(缺省实现),其中sshfence是指通过ssh登陆目标Master节点上,使用命令fuser将进程杀死(通过tcp端口号定位进程pid,该方法比jps命令更准确),shellfence是指执行一个用户事先定义的shell命令(脚本)完成隔离。

切换对外透明:为了保证整个切换是对外透明的,Hadoop应保证所有客户端和Slave能自动重定向到新的active master上,这通常是通过若干次尝试连接旧master不成功后,再重新尝试链接新master完成的,整个过程有一定延迟。在新版本的Hadoop RPC中,用户可自行设置RPC客户端尝试机制、尝试次数和尝试超时时间等参数。

双机热备中的脑裂在“双机热备”高可用(HA)系统中,当联系2个节点的“心跳线”断开时,本来为一整体、动作协调的HA系统,就分裂成为2个独立的个体。由于相互失去了联系,都以为是对方出了故障,2个节点上的HA软件像“裂脑人”一样,“本能”地争抢“共享资源”、争起“应用服务”,就会发生严重后果:或者共享资源被瓜分、2边“服务”都起不来了;或者2边“服务”都起来了,但同时读写“共享存储”,导致数据损坏(常见如数据库轮询着的联机日志出错)。

在系统中增加quartz定时任务集群,tomcat集群会多次执行,怎么解决呢?

Redis集群方案应该怎么做

做过类似的功能,不一定非得用分布式定时任务,还是要结合项目实际来选择具体的解决方案;从简单的说起,给大家介绍几个(不一定要选高大上的方案,适合最重要)。比如数据库中每天都会有一百万条数据待处理,一个定时任务(记为A)要处理完这一百万条数据,需要10个小时;如果想加快这个处理速度,我们首先能想到的是多部署一个批处理程序(记为B),这时候理论上需要10/2=5个小时,可以把任务都处理完。

方案一:待处理任务表增加一个处理标志的字段,例如0=待处理,1=处理中,2=处理完成;当A任务取到待处理数据的时候,将此字段更新成1,处理完之后更新成2;当字段=1/2的时候,B任务不会取到这条数据;但是这种方法的问题极大,因为很容易发生一条待处理任务在被A查询到,但是未更新处理状态前,就被B任务取到,这样就会造成重复处理的问题。

方案二:把处理任务进行人为的划分,A处理一批数据,B处理一批数据。可以从纯数据角度划分,比如id%2=0的A处理,id%2=1的B处理,也可以从业务角度划分,比如某个字段in(A,B,C)的A处理,某个字段in(X,Y,Z)的A处理;这样做不会造成数据重复处理,但是也有一些问题:数据不一定能够平均分配,比如字段in(A,B,C)的数据有90万条,字段in(X,Y,Z)的有10万条。

难以扩展,因为条件是写死的,所以如果要增加减少机器的话比较麻烦;如果其中一台机器挂掉,那么这部分数据就不会处理。方案三:方案一改进一下,增加分布式锁(可以是数据库、Redis、ZK),谁能抢到锁,谁才能提取待处理任务,并更新处理状态,比如一次提取一万行数据,并把这些数据的待处理状态更新成【处理中】,然后把锁释放掉,再由其他的节点抢锁。

这种方案需要考虑的东西也不少:要考虑锁超期的问题:如果A抢到锁,还没释放锁之前A就挂掉了,那么所有任务都会被卡主。如果锁超期被释放掉,A处理到一半的任务还需要被其他任务处理(失效转移)。可以和方案二结合,做任务分片,批处理程序抢到锁后,领取一个任务分片进行处理。方案四:直接采用分布式任务处理框架,我熟知的就是Elastic-Job了,它的功能更为强大,不过主要的功能嘛,你能理解前三个方案的话,这个方案也就容易理解了(基本上就是上面那些东西)。

文章TAG:我是曙光曙光明白再引关注曙光集群系统中如何使用命令切换节点我是曙光光明

最近更新

  • 有的商家发顺丰为什么可以发带电池的电子产品,商家竟然发的顺丰快递

    当时我们有一个食品分类组,里面很多商家,直接是厂家,占了店铺的一半。因为马云要动快递、三通一达的奶酪,无法独立生存。只是他被马云牵着鼻子走,结局肯定不好,最惨的是换成马云自建物流。 ......

    科技经验 日期:2022-06-08

  • 安卓系统为什么臃肿,安卓系统每年都说更流畅

    说实话,安卓这几年在系统流畅的线条上下了不少功夫。安卓不会自动清理后台。有的安卓手机厂商优化不了,或者用的人不知道怎么用好。久而久之,手机开始卡顿。熟悉Android系统开发的R ......

    科技经验 日期:2022-06-08

  • 苹果为什么嚣张,美国如此嚣张从哪儿来的底气

    卖猪肉的梁屠夫,告诉我为什么宇宙不是上帝主宰的。为什么现在科学在发展?反而有人认为宇宙是上帝主宰的。普朗克常数h定义的量子是宇宙中最小的粒子,是宇宙中最基本的变化载体。对宇宙真理的 ......

    科技经验 日期:2022-06-08

  • rx480 为什么没有了,rx480都8g显存了

    想象一下,一个花粉进华为手机专卖店,预算4000元买一部手机。推荐荣耀30Pro还是华为P40?华为和荣耀是同级还是上下级,华为和荣耀是什么关系,兄弟还是父子。买华为意味着产品力比 ......

    科技经验 日期:2022-06-08

  • 太阳为什么温度最高,为什么不会融化

    这也是不对的。如果时间拖得足够长,随着太阳物质核聚变的继续,物质元素融合成铁元素,基本停止反应。重的铁元素会落到太阳表面,或者形成一个固体的太阳球体。随着越来越多的铁落下,对底层的 ......

    科技经验 日期:2022-06-08

  • 流量卡为什么好卡,为什么移动的无限流量这么卡

    无线流量限速问题运营商提出的无线流量卡并不是真正的无限流量。你以为便宜的是垃圾物联网卡。这是惯例。我觉得12流量卡都是正规卡,去过无数坑,所以知道这个月租49块钱很贵,但是100g ......

    科技经验 日期:2022-06-08

  • 为什么火星叫火星,那么金星为什么不叫火星

    他实际上是苏联的二号人物。斯大林死后,他一度有可能成为苏联的领袖,但在他春风得意之时,却被昔日的战友处决了。苏联只用了20多年就赶上了美国。那么,你认为苏联的科技是先进还是落后?我 ......

    科技经验 日期:2022-06-08

  • 为什么摩拜单车变少了,摩拜单车为什么这么难骑

    没办法,穷成这样。买二手的,打折的就行。喜欢苹果手机的人有以下几种可能:全新的6800元左右,二手的4000元左右,没有五官的才2000多点。价格差别还是很大的,所以有些人喜欢便宜 ......

    科技经验 日期:2022-06-08