首页 > 手机 > 配件 > 分钟搞懂分布式基础概念,分布式计算

分钟搞懂分布式基础概念,分布式计算

来源:整理 时间:2022-04-08 21:32:00 编辑:华为40 手机版

分布式计算是云计算和大数据的基础支撑技术之一,分布式存储和分布式计算也是大数据平台和云计算平台的核心技术组成,从这个角度来看,分布式计算是非常重要的技术方向。未来,随着5G通信的落地应用,分布式计算与边缘计算的发展空间都会比较大。首先,机器学习和分布式计算都是目前比较热门的方向,近几年相关方向研究生的就业情况也都有不错的表现,薪资待遇也比较可观。

分布式计算是如何控制事务的?

分布式计算是如何控制事务的

事务的管理不应该属于Dubbo框架, Dubbo只需实现可被事务管理即可, 像JDBC和JMS都是可被事务管理的分布式资源, Dubbo只要实现相同的可被事务管理的行为,比如可以回滚, 其它事务的调度,都应该由专门的事务管理器实现。 在Java中,分布式事务主要的规范是JTA/XA, 其中:JTA是Java的事务管理器规范, XA是工业标准的X/Open CAE规范,可被两阶段提交及回滚的事务资源定义, 比如某数据库实现了XA规范,则不管是JTA,还是MSDTC,都可以基于同样的行为对该数据库进行事务处理。

首先是不建议采用XA两阶段提交方式去处理分布式事务,要知道要能够支持XA分布式事务,必须是要实现XA规范才可以,而Service本身是无状态的,如果这样去做了等于是把Service内部的东西暴露了出去。对于分布式事务最好的方式还是事务补偿或者BASE基于消息的最终一致性。 可以设想一个最简单的分布式事务场景,对于跨银行的转账操作,该操作涉及到调用两个异地的Service服务,一个是本地提供的取款服务,一个是目标银行提供的存款服务,该两个服务本身无状态且独立,构成一个完整的事务。

对于事务的处理初步分析: 事务补偿机制 事务补偿即在事务链中的任何一个正向事务操作,都必须存在一个完全符合回滚规则的可逆事务。如果是一个完整的事务链,则必须事务链中的每一个业务服务或操作都有对应的可逆服务。对于Service服务本身无状态,也不容易实现前面讨论过的通过DTC或XA机制实现的跨应用和资源的事务管理,建立跨资源的事务上下文。

因此也较难以实现真正的预提交和正式提交的分离。 在这种情况下以上面例子来说,首先调用取款服务,完全调用成功并返回,数据已经持久化。然后调用异地的存款服务,如果也调用成功,则本身无任何问题。如果调用失败,则需要调用本地注册的逆向服务(本地存款服务),如果本地存款服务调用失败,则必须考虑重试,如果约定重试次数仍然不成功,则必须log到完整的不一致信息。

也可以是将本地存款服务作为消息发送到消息中间件,由消息中间件接管后续操作。 在上面方式中可以看到需要手工编写大量的代码来处理以保证事务的完整性,我们可以考虑实现一个通用的事务管理器,实现事务链和事务上下文的管理。对于事务链上的任何一个服务正向和逆向操作均在事务管理和协同器上注册,由事务管理器接管所有的事务补偿和回滚操作。

基于消息的最终一致性 在这里首先要回答的是我们需要时实时一致性还是最终一致性的问题,如果需要的是最终一致性,那么BASE策略中的基于消息的最终一致性是比较好的解决方案。这种方案真正实现了两个服务的真正解耦,解耦的关键就是异步消息和消息持久化机制。 还是以上面的例子来看。对于转账操作,原有的两个服务调用变化为第一步调用本地的取款服务,第二步发送异地取款的异步消息到消息中间件。

如果第二步在本地,则保证事务的完整性基本无任何问题,即本身就是本地事务的管理机制。只要两个操作都成功即可以返回客户成功。 由于解耦,我们看到客户得到成功返回的时候,如果是上面一种情况则异地卡马上就能查询账户存款增加。而第二种情况则不一定,因为本身是一种异步处理机制。消息中间件得到消息后会去对消息解析,然后调用异地银行提供的存款服务进行存款,如果服务调用失败则进行重试。

异地银行存款操作不应该长久地出现异常而无法使用,因此一旦发现异常我们可以迅速的解决,消息中间件中异常服务自然会进行重试以保证事务的最终一致性。这种方式假设问题一定可以解决,在不到万不得已的情况下本地的取款服务一般不进行可逆操作。 在本地取款到异地存款两个服务调用之间,会存在一个真空期,这段时间相关现金不在任何一个账户,而只是在一个事务的中间状态,但是客户并不关心这个,只要在约定的时间保证事务最终的一致性即可。

关于幂等操作的问题 重复调用多次产生的业务结果与调用一次产生的业务结果相同,简单点讲所有提供的业务服务,不管是正向还是逆向的业务服务,都必须要支持重试。因为服务调用失败这种异常必须考虑到,不能因为服务的多次调用而导致业务数据的累计增加或减少。 关于是否可以补偿的问题 在这里我们谈的是多个跨系统的业务服务组合成一个分布式事务,因此在对事务进行补偿的时候必须要考虑客户需要的是否一定是最终一致性。

客户对中间阶段出现的不一致的承受度是如何的。 3 在上面的例子来看,如果采用事务补偿机制,基本可以是做到准实时的补偿,不会有太大的影响。而如果采用基于消息的最终一致性方式,则可能整个周期比较长,需要较长的时间才能给得到最终的一致性。比如周六转款,客户可能下周一才得到通知转账不成功而进行了回退,那么就必须要考虑客户是否能给忍受。

其次对于前面讨论,如果真正需要的是实时的一致性,那么即使采用事务补偿机制,也无法达到实时的一致性。即很可能在两个业务服务调用中间,客户前台业务操作对持久化的数据进行了其它额外的操作。在这种模式下,我们不得不考虑需要在数据库表增加业务状态锁的问题,即整个事务没有完整提交并成功前,第一个业务服务调用虽然持久化在数据库,但是仍然是一个中间状态,需要通过业务锁来标记,控制相关的业务操作和行为。

研究生学习方向选机器学习还是分布式计算好,请从就业前景,薪酬方面说,好不好写论文?

研究生学习方向选机器学习还是分布式计算好,请从就业前景,薪酬方面说,好不好写论文

机器学习是我的主要研究方向之一,同时也在带相关方向的研究生,所以我来回答一下这个问题。首先,机器学习和分布式计算都是目前比较热门的方向,近几年相关方向研究生的就业情况也都有不错的表现,薪资待遇也比较可观。机器学习(包括深度学习)是目前的热门方向,一方面机器学习是人工智能领域的六大研究方向之一,另一方面机器学习也是大数据分析的常见方式之一,所以机器学习未来的落地应用空间还是非常大的。

机器学习技术目前在技术体系上相对已经形成了一个较为扎实的基础,但是依然有大量的课题需要攻克,所以从这个角度来看,选择机器学习方向会更容易做出成果,相关论文也比较容易撰写。机器学习的核心在于算法设计、算法实现和算法验证,对于研究生的数学基础有较高的要求。分布式计算是云计算和大数据的基础支撑技术之一,分布式存储和分布式计算也是大数据平台和云计算平台的核心技术组成,从这个角度来看,分布式计算还是非常重要的技术方向。

相对于机器学习来说,分布式计算的技术体系要更为完善,相关的案例也比较多,所以在学习的过程中会更系统,但是要想做出自己的创新点,相对来说也有一定的难度,论文的撰写难度也相对要高一些。分布式计算的就业渠道主要集中在大型科技企业,比如云计算服务商、大数据平台服务商就是比较常见的就业方向,从就业的薪资待遇来看,整体上与机器学习方向差别不大。

未来,随着5G通信的落地应用,分布式计算与边缘计算的发展空间都会比较大。我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言!。

文章TAG:分布式计算搞懂分布式分钟概念

最近更新