kafka-保证数据不重复-生产者开启幂等性和事务的作用？

这篇具有很好参考价值的文章主要介绍了kafka-保证数据不重复-生产者开启幂等性和事务的作用？。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 生产者开启幂等性为什么能去重？

1.1 场景

适用于消息在写入到服务器日志后，由于网络故障，生产者没有及时收到服务端的ACK消息，生产者误以为消息没有持久化到服务端，导致生产者重复发送该消息，造成了消息的重复现象，而幂等性就是为了解决该问题。

kafka-保证数据不重复-生产者开启幂等性和事务的作用？,kafka,kafka

1.2 去重原理

通过3个值的唯一性去重：

PID：生产者ID
分区号
seq：单调递增

kafka-保证数据不重复-生产者开启幂等性和事务的作用？,kafka,kafka

2. 生产者开启事务为什么能去重？

2.1 场景

当数据发送到broker时，失败了，导致ack没有应答成功，如果没有开启事务，那么这条数据可能只落在了leader的磁盘上，没有落在flower的磁盘上，此时会进行重试，再把数据发送一遍，那么leader的数据就重复了。

2.2 去重原理

如果开启事务那就会有原子性，数据要么写成功落盘，要么写失败回滚。

当数据发送到broker时，失败了，导致ack应答失败，这条数据可能只落在了leader的磁盘上，没有落在flower的磁盘上，如果开启了事务，那么会进行回滚，将leader的数据回滚，然后会进行重试，再把数据发送一遍，就解决了重复问题。文章来源地址https://www.toymoban.com/news/detail-629763.html

到了这里，关于kafka-保证数据不重复-生产者开启幂等性和事务的作用？的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！