分布式事务(CAP 和BASE 理论解决⽅案)
事务(CAP 和BASE 理论 解决⽅案
分布式事务
⼀、基础概念
1.1什么是事务
什么是事务?举个⽣活中的例⼦:你去⼩卖铺买东西,“⼀⼿交钱,⼀⼿交货”就是⼀个事务的例⼦,交钱和交货必 须全部成功,事务才算成功,任⼀个活动失败,事务将撤销所有已成功的活动。
明⽩上述例⼦,再来看事务的定义:
事务可以看做是⼀次⼤的活动,它由不同的⼩活动组成,这些活动要么全部成功,要么全部失败。
数据库事务的四⼤特性 ACID:
A(Atomic):原⼦性,构成事务的所有操作,要么都执⾏完成,要么全部不执⾏,不可能出现部分成功部分失 败的情况。
C(Consistency):⼀致性,在事务执⾏前后,数据库的⼀致性约束没有被破坏。⽐如:张三向李四转100元, 转账前和转账后的数据是正确状态这叫⼀致性,如果出现张三转出100元,李四账户没有增加100元这就出现了数 据错误,就没有达到⼀致性。 I(Isolation):隔离性,数据库中的事务⼀般都是并发的,隔离性是指并发的两个事务的执⾏互不⼲扰,⼀个事 务不能看到其他事务运⾏过程的中间状态。通过配置事务隔离级别可以避脏读、重复读等问题。 D(Durability):持久性,事务完成之后,该事务对数据的更改会被持久化到数据库,且不会被回滚。
1.2本地事务
在计算机系统中,更多的是通过关系型数据库来控制事务,这是利⽤数据库本⾝的事务特性来实现的,因此叫数据 库事务,由于应⽤主要靠关系数据库来控制事务,⽽数据库通常和应⽤在同⼀个服务器,所以基于关系型数据库的 事务⼜被称为本地事务。
同⼀数据库和服务器,称为本地事务
1.3分布式事务
分布式事务指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上,且属于不同的应⽤,分布式事务需要保证这些操作要么全部成功,要么全部失
败。本质上来说,分布式事务就是为了保证不同数据库的数据⼀致性。分布式系统会把⼀个应⽤系统拆分为可独⽴部署的多个服务,因此需要服务与服务之间远程协作才能完成事务操 作,这种分布式系统环境下由不同的服务之间通过⽹络远程协作完成事务称之为分布式事务,例如⽤户注册送积分 事务、创建订单减库存事务,银⾏转账事务等都是分布式事务。
我们知道本地事务依赖数据库本⾝提供的事务特性来实现,因此以下逻辑可以控制本地事务:
但是在分布式环境下,会变成下边这样:begin transaction ;//1.本地数据库操作:张三减少⾦额//2.本地数据库操作:李四增加⾦额commit transation ;
1
2
3
4begin transaction ;//1.本地数据库操作:张三减少⾦额//2.远程调⽤:让李四增加⾦额commit transation ;
1
2
3
4
可以设想,当远程调⽤让李四增加⾦额成功了,由于⽹络问题远程调⽤并没有返回,此时本地事务提交失败就回滚 了张三减少⾦额的操作,此时张三和李四的数据就不⼀致了。
因此在分布式架构的基础上,传统数据库事务就⽆法使⽤了,张三和李四的账户不在⼀个数据库中甚⾄不在⼀个应 ⽤系统⾥,实现转账事务需要通过远程调⽤,由于⽹络问题就会导致分布式事务问题。
1.4分布式事务产⽣的场景
1、典型的场景就是微服务架构 微服务之间通过远程调⽤完成事务操作。 ⽐如:订单微服务和库存微服务,下单的同时订单微服务请求库存微服务减库存。 简⾔之:跨JVM进程产⽣分布式事务。
2、单体系统访问多个数据库实例 当单体系统需要访问多个数据库(实例)时就会产⽣分布式事务。 ⽐如:⽤户信息和订单信息分别在两个MySQL实例存储,⽤户管理系统删除⽤户信息,需要分别删除⽤户信息及⽤户的订单信 息,由于数据分布在不同的数据实例,需要通过不同的数据库链接去操作数据,此时产⽣分布式事务。 简⾔之:跨数据库实例产⽣分布式事务。
3、多服务访问同⼀个数据库实例 ⽐如:订单微服务和库存微服务即使访问同⼀个数据库也会产⽣分布式事务,原因就是跨JVM进程,两个微服务持有了不同的数据库链接进⾏数据库操作,此时产⽣分布式事务。
⼆、2.分布式事务基础理论
通过前⾯的学习,我们了解到了分布式事务的基础概念。与本地事务不同的是,分布式系统之所以叫分布式,是因 为提供服务的各个节点分布在不同机器上,相互之间通过⽹络交互。不能因为有⼀点⽹络问题就导致整个系统⽆法 提供服务,⽹络因素成为了分布式事务的考量标准之⼀。因此,分布式事务需要更进⼀步的理论⽀持,接下来,我 们先来学习⼀下分布式事务的CAP理论。
2.1CAP理论
CAP定理是在 1998年加州⼤学的计算机科学家 Eric Brewer (埃⾥克.布鲁尔)提出,分布式系统有三个指标Consistency ⼀致性
Availability 可⽤性
Partition tolerance 分区容错性
它们的第⼀个字母分别是 C、A、P。Eric Brewer 说,这三个指标不可能同时做到。这个结论就叫做 CAP 定理。
为了⽅便对CAP理论的理解,我们结合电商系统中的⼀些业务场景来理解CAP。 如下图,是商品信息管理的执⾏流程:
整体执⾏流程如下:
1、商品服务请求主数据库写⼊商品信息(添加商品、修改商品、删除商品)
2、主数据库向商品服务响应写⼊成功。
3、商品服务请求从数据库读取商品信息。
C - Consistency: ⼀致性是指写操作后的读操作可以读取到最新的数据状态(强⼀致性),当数据分布在多个节点上,从任意结点读取到的数据都 是最新的状态。 上图中,商品信息的读写要满⾜⼀致性就是要实现如下⽬标: 1、商品服务写⼊主数据库成功,则向从数据库查询新数据也成功。 2、商品服务写⼊主数据库失败,则向从数据库查询新数据也失败。如何实现⼀致性? 1、写⼊主数据库后要将数据同步到从数据库。 2、写⼊主数据库后,在向从数据库同步期间要将从数据库锁定,待同步完成后再释放锁,以免在新数据写⼊成功 后,向从数据库查询到旧的数据。
分布式系统⼀致性的特点:
1、由于存在数据同步的过程,写操作的响应会有⼀定的延迟。
2、为了保证数据⼀致性会对资源暂时锁定,待数据同步完成释放锁定资源。
3、如果请求数据同步失败的结点则会返回错误信息,⼀定不会返回旧数据。
A - Availability : 可⽤性是指任何事务操作都可以得到响应结果,且不会出现响应超时或响应错误。 上图中,商品信息读取满⾜可⽤性就是要实现如下⽬标: 1、从数据库接收到数据查询的请求则⽴即能够响应数据查询结果。 2、从数据库不允许出现响应超时或响应错误。如何实现可⽤性? 1、写⼊主数据库后要将数据同步到从数据库。 2、由于要保证从数据库的可⽤性,不可将从数据库中的资源进⾏锁定。3、即时数据还没有同步过来,从数据库也要返回要查询的数据,哪怕是旧数据,如果连旧数据也没有则可以按照 约定返回⼀个默认信息,但不能返回错误或响应超时。 分布式系统可⽤性的特点: 1、 所有请求都有响应,且不会出现响应超时或响应错误。
P - Partition tolerance : 通常分布式系统的各各结点部署在不同的⼦⽹,这就是⽹络分区,不可避免的会出现由于⽹络问题⽽导致结点之间 通信失败,此时仍可对外提供服务,这叫分区容忍性。 上图中,商品信息读写满⾜分区容忍性就是要实现如下⽬标: 1、主数据库向从数据库同步数据失败不影
响读写操作。 2、其⼀个结点挂掉不影响另⼀个结点对外提供服务。如何实现分区容忍性? 1、尽量使⽤异步取代同步操作,例如使⽤异步⽅式将数据从主数据库同步到从数据,这样结点之间能有效的实现 松耦合。 2、添加从数据库结点,其中⼀个从结点挂掉其它从结点提供服务。分布式分区容忍性的特点: 1、分区容忍性分是布式系统具备的基本能⼒。
分区容忍的含义 1)主数据库通过⽹络向从数据同步数据,可以认为主从数据库部署在不同的分区,通过⽹络进⾏交互。 2)当主数据库和从数据库之间的⽹络出现问题不影响主数据库和从数据库对外提供服务。 3)其⼀个结点挂掉不影响另⼀个结点对外提供服务。 如果要实现C则必须保证数据⼀致性,在数据同步的时候为防⽌向从数据库查询不⼀致的数据则需要将从数据库数 据锁定,待同步完成后解锁,如果同步失败从数据库要返回错误信息或超时信息。 如果要实现A则必须保证数据可⽤性,不管任何时候都可以向从数据查询数据,则不会响应超时或返回错误信息。 通过分析发现在满⾜P的前提下C和A存在⽭盾性。
2.2CAP有哪些组合⽅式
1)AP:
放弃⼀致性,追求分区容忍性和可⽤性。这是很多分布式系统设计时的选择。例如:
上边的商品管理,完全可以实现AP,前提是只要⽤户可以接受所查询的到数据在⼀定时间内不是最新的即可。
通常实现AP都会保证最终⼀致性,后⾯讲的BASE理论就是根据AP来扩展的,⼀些业务场景 ⽐如:订单退款,今⽇退款成功,明⽇账户到账,只要⽤户可以接受在⼀定时间内到账即可。 2)CP: 放弃可⽤性,追求⼀致性和分区容错性,我们的zookeeper其实就是追求的强⼀致,⼜⽐如跨⾏转账,⼀次转账请 求要等待双⽅银⾏系统都完成整个事务才算完成。
3)CA:
放弃分区容忍性,即不进⾏分区(单体架构),不考虑由于⽹络不通或结点挂掉的问题,则可以实现⼀致性和可⽤性。那么系统 将不是⼀个标准的分布式系统,我们最常⽤的关系型数据就满⾜了CA。
2.3总结
通过上⾯我们已经学习了CAP理论的相关知识,CAP是⼀个已经被证实的理论:⼀个分布式系统最多只能同时满⾜ ⼀致性(Consistency)、可⽤性(Availability)和分区容忍性(Partition tolerance)这三项中的两项。它可以作为我们进⾏架构设计、技术选型的考量标准。对于多数⼤型互联⽹应⽤的场景,结点众多、部署分散,⽽且现在的 集规模越来越⼤,所以节点故障、⽹络故障是常态,⽽且要
保证服务可⽤性达到N个9(99.99…%),并要达到良 好的响应性能来提⾼⽤户体验,因此⼀般都会做出如下选择:保证P和A,舍弃C强⼀致,保证最终⼀致性。
2.4BASE理论
理解强⼀致性和最终⼀致性 CAP理论告诉我们⼀个分布式系统最多只能同时满⾜⼀致性(Consistency)、可⽤性(Availability)和分区容忍性(Partition tolerance)这三项中的两项,其中AP在实际应⽤中较多,AP即舍弃⼀致性,保证可⽤性和分区容忍性,但是在实际⽣产中很多场景都要实现⼀致性,⽐如前边我们举的例⼦主数据库向从数据库同步数据,即使不要 ⼀致性,但是最终也要将数据同步成功来保证数据⼀致,这种⼀致性和CAP中的⼀致性不同,CAP中的⼀致性要求 在任何时间查询每个结点数据都必须⼀致,它强调的是强⼀致性,但是最终⼀致性是允许可以在⼀段时间内每个结 点的数据不⼀致,但是经过⼀段时间每个结点的数据必须⼀致,它强调的是最终数据的⼀致性。
BASE:全称:Basically Available(基本可⽤),Soft state(软状态),和 **Eventually consistent(最终⼀致性)**三个短语的缩写,来⾃ ebay 的架构师提出。BASE 理论是对 CAP 中⼀致性和可⽤性权衡的结果,其来源于对⼤型互联⽹分布式实践的总结,是基于 CAP 定理逐步演化⽽来的。其核⼼思想是:
即使⽆法做到强⼀致性(Strong consistency),但每个应⽤都可以根据⾃⾝的业务特点,采⽤适当的
⽅式来使系统达到最终⼀致性(Eventual consistency)。
通过牺牲强⼀致性来获得可⽤性,当出现故障允许部分不可⽤但要保证 核⼼功能可⽤,允许数据在⼀段时间内是不⼀致的,但最终达到⼀致状态。满⾜BASE理论的事务,我们称之为“柔性事务”。
Basically Available(基本可⽤)
什么是基本可⽤呢?假设系统,出现了不可预知的故障,但还是能⽤,相⽐较正常的系统⽽⾔:
1. 响应时间上的损失:正常情况下的搜索引擎 0.5 秒即返回给⽤户结果,⽽基本可⽤的搜索引擎可以在 1 秒作⽤返回结果。
2. 功能上的损失:在⼀个电商⽹站上,正常情况下,⽤户可以顺利完成每⼀笔订单,但是到了⼤促期间,为了保护购物系统的稳定性,
部分消费者可能会被引导到⼀个降级页⾯。
分布式系统在出现故障时,允许损失部分可⽤功能,保证核⼼功能可⽤。如,电商⽹站交易付款出 现问题了,商品依然可以正常浏览。
Soft state(软状态)
什么是软状态呢?相对于原⼦性⽽⾔,要求多个节点的数据副本都是⼀致的,这是⼀种 “硬状态”。
软状态指的是:允许系统中的数据存在中间状态,并认为该状态不影响系统的整体可⽤性,即允许系统在多个不同节点的数据副本存在数据延时。
由于不要求强⼀致性,所以BASE允许系统中存在中间状态(也叫软状态),这个状态不影响系统可⽤ 性,如订单的"⽀付中"、“数据同步中”等状态,待数据最终⼀致后状态改为“成功”状态。
Eventually consistent(最终⼀致性)
系统能够保证在没有其他新的更新操作的情况下,数据最终⼀定能够达到⼀致的状态,因此所有客户端对系统的数据访问最终都能够获取到最新的值。
经过⼀段时间后,所有节点数据都将会达到⼀致。如订单的"⽀付中"状态,最终会变 为“⽀付成功”或者"⽀付失败",使订单状态与实际交易结果达成⼀致,但需要⼀定时间的延迟、等待。
三、分布式事务解决⽅案
2PC(两阶段提交)
2PC即两阶段提交协议,是将整个事务流程分为两个阶段,准备阶段(Prepare phase)、提交阶段(commit phase),2是指两个阶段,P是指准备阶段,C是指提交阶段。 举例:张三和李四好久不见,⽼友约起聚餐,饭店⽼板要求先买单,才能出票。这时张三和李四分别抱怨近况不如 意,囊中羞涩,都不愿意请客,这时只能AA。只有张三和李四都付款,⽼板才能出票安排就餐。但由于张三和李四 都是铁公鸡,形成了尴尬的⼀幕: 准备阶段:⽼板要求张三付款,张三付款。⽼板要求李四付款,李四付款。提交阶段:⽼板出票,两⼈拿票纷纷落座就餐。 例⼦中形成了⼀个事务,若张三或李四其中⼀⼈拒绝付款,或钱不够,店⽼板都不会给出票,并且会把已收款退 回。 整个事务过程由事务管理器和参与者组成,店⽼板就是事务管理器,张三、李四就是事务参与者,事务管理器负责 决策整个分布式事务的提交和回滚,事务参与者负责⾃⼰本地事务的提交和回滚。 在计算机中部分关系数据库如Oracle、MySQL⽀持两阶段提交协议,如下图: 1.准备阶段(Prepare phase):事务管理器给每个参与者发送Prepare消息,每个数据库参与者在本地执⾏事务,并写本地的Undo/Redo⽇志,此时事务没有提交。 (Undo⽇志是记录修改前的数据,⽤于数据库回滚,Redo⽇志是记录修改后的数据,⽤于提交事务后写⼊数 据⽂件) 2.提交阶段(commit phase):如果事务管理器收到了参与者的执⾏失败或者超时消息时,直接给每个参与者发送回滚(Rollback)消息;否则,发送提交(Commit)消息;参与者根据事务管理器的指令执⾏提交或者回滚操 作,并释放事务处理过程中使⽤的锁资源。注意:必须在最后阶段释放锁资源。 下图展⽰了2PC的两个阶段,分成功和失败两个情况说明: 成功情况: 失败情况:
基于XA协议的两阶段提交2PC
2PC的传统⽅案是在数据库层⾯实现的,如Oracle、MySQL都⽀持2PC协议,为了统⼀标准减少⾏业内不必要的对接成本,需要制定标准化的处理模型及接⼝标准,国际开放标准组织Open Group定义了分布式事务处理模型DTP(Distributed Transaction Processing Reference Model) 。
为了让⼤家更明确XA⽅案的内容程,下⾯新⽤户注册送积分为例来说明:
执⾏流程如下:
1、应⽤程序(AP)持有⽤户库和积分库两个数据源。
2、应⽤程序(AP)通过TM通知⽤户库RM新增⽤户,同时通知积分库RM为该⽤户新增积分,RM此时并未提交事 务,此时⽤户和积分资源锁定。
3、TM收到执⾏回复,只要有⼀⽅失败则分别向其他RM发起回滚事务,回滚完毕,资源锁释放。
4、TM收到执⾏回复,全部成功,此时向所有RM发起提交事务,提交完毕,资源锁释放。DTP模型定义如下⾓⾊:
AP(Application Program):即应⽤程序,可以理解为使⽤DTP分布式事务的程序。
RM(Resource Manager):即资源管理器,可以理解为事务的参与者,⼀般情况下是指⼀个数据库实例,通过资源管理器对该数据库进⾏控制,资源管理器控制着分⽀事务。
TM(Transaction Manager):事务管理器,负责协调和管理事务,事务管理器控制着全局事务,管理事务⽣命周期,并协调各个RM。全局事务是指分布式事务处理环境中,需要操作多个数据库共同完成⼀个⼯作,这个 ⼯作即是⼀个全局事务。
DTP模型定义TM和RM之间通讯的接⼝规范叫XA,简单理解为数据库提供的2PC接⼝协议,基于数据库的XA
分布式和微服务的关系
协议来实现2PC⼜称为XA⽅案。
以上三个⾓⾊之间的交互⽅式如下:
1)TM向AP提供 应⽤程序编程接⼝,AP通过TM提交及回滚事务。
2)TM交易中间件通过XA接⼝来通知RM数据库事务的开始、结束以及提交、回滚等。
总结:
整个2PC的事务流程涉及到三个⾓⾊AP、RM、TM。AP指的是使⽤2PC分布式事务的应⽤程序;RM指的是资源管理器,它控制着分⽀事务;TM指的是事务管理器,它控制着整个全局事务。
1)在准备阶段RM执⾏实际的业务操作,但不提交事务,资源锁定;
2)在提交阶段TM会接受RM在准备阶段的执⾏回复,只要有任⼀个RM执⾏失败,TM会通知所有RM执⾏回滚操 作,否则,TM将会通知所有RM提交该事务。提交阶段结束资源锁释放。
XA⽅案的问题:
1、需要本地数据库⽀持XA协议。
2、资源锁需要等到两个阶段结束才释放,性能较差。
1)在准备阶段RM执⾏实际的业务操作,但不提交事务,资源锁定;
2)在提交阶段TM会接受RM在准备阶段的执⾏回复,只要有任⼀个RM执⾏失败,TM会通知所有RM执⾏回滚操 作,否则,TM将会通知所有RM提交该事务。提交阶段结束资源锁释放。
XA⽅案的问题:
1、需要本地数据库⽀持XA协议。
2、资源锁需要等到两个阶段结束才释放,性能较差。
TCC 补偿机制TCC 其实就是采⽤的补偿机制,其核⼼思想是:针对每个操作,都要注册⼀个与其对应的确认和补偿(撤销)操作。它分为三个阶段:Try 阶段主要是对业务系统做检测及资源预留
Confirm 阶段主要是对业务系统做确认提交,Try阶段执⾏成功并开始执⾏ Confirm阶段时,默认 Confirm阶段是不会出错的。即:只要Try成功,Confirm⼀定成功。Cancel 阶段主要是在业务执⾏错误,需要回滚的状态下执⾏的业务取消,预留资源释放。
例如: A要向 B 转账,思路⼤概是:
优点: 相⽐两阶段提交,可⽤性⽐较强
缺点: 数据的⼀致性要差⼀些。TCC属于应⽤层的⼀种补偿⽅式,所以需要程序员在实现的时候多写很多补偿的代码,在⼀些场景中,⼀些业务流程可能⽤TCC不太好定义及处理。我们有⼀个本地⽅法,⾥⾯依次调⽤ 1、⾸先在 Try 阶段,要先调⽤远程接⼝把 B 和 A 的钱给冻结起来。 2、在 Confirm 阶段,执⾏远程调⽤的转账的操作,转账成功进⾏解冻。 3、如果第2步执⾏成功,那么转账成功,如果第⼆步执⾏失败,则调⽤远程冻结接⼝对应的解冻⽅法 (Cancel)。
1
2
3
4

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。