kafka结合mysql_kafka和mysql操作,如何确保先后顺序
先分析下为何会产⽣顺序的问题:
加@Transactional属于数据库的事务。伪代码如下:
database transaction begin;
try{
insert into table;
send to kafka;//这个动作先发⽣,有可能消息已被消费,⽽下⾯的commit还没执⾏完成。
database transaction commit;//这个必须放在后⾯以保证两个动作的事务特性。
} catch (exception) {
database transaction rollback;
}
上⾯的send to kafka发送失败了,那么数据库也会回滚,这样数据是⼀致的。但是如果发送kafka成功⽽commit失败,那么数据库数据是⽆效的,⽽消费者照常去消费消息,这也可能导致B服务通过Id不到数据。
上⾯是B服务不到数据的两种可能情况。
所以问题的原因是对两个操作进⾏了不正确的事务控制。正确的事务控制应该是下⾯这样的:
kafka transaction begin;
database transaction begin;
try{
insert into table;
send to kafka;
mysql下载失败怎么办database transaction commit;
kafka transaction commit;
} catch (exception) {
database transaction rollback;
kafka transaction rollback;
}
上⾯database事务提交先于kafka事务,这样会保证服务B在消费的时候数据已经在数据库了。database事务提交失败了,两者都回滚,数据是⼀致的,database事务提交成功,kafka事务也提交成功,两边的数据也还是⼀致的,但是如果database事务提交成功,kafka事务提交失败,也有可能导致数据不⼀致(数据插⼊成功了,服务B⽆法消费)。所以得有个补偿机制,消息中间件我了保证数据⼀致性,会有个超时询问机制,如图:
所以系统A还需提供⼀个事务询问的接⼝,供消息中间件调⽤。当消息中间件收到⼀条事务型消息后便开始计时,如果到了超时时间也没收到系统A发来的Commit或Rollback指令的话,就会主动调⽤系统A提供的事务询问接⼝询问该系统⽬前的状态。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。