kafka--kafka基础概念-ISR详解

1年前作者：Jeroro_franklin分类：Toy博客阅读(11)违法举报

这篇具有很好参考价值的文章主要介绍了kafka--kafka基础概念-ISR详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

kafka基础概念-ISR详解

ISR详解-ISR

主要是讲主往从同步中的问题

kafka--kafka基础概念-ISR详解,kafka,kafka,分布式

当绿色P1接收到写入的数据，要同步到紫色的P1S1和P1S2

如何保证一致性呢？

使用In Sync Replicas 也就是ISR概念

为什么不一致的？

因为P1S1同步数据可能花费 50ms P1S2可能花费60ms

同步完的进入ISR集合，

同步时间是可以设置规定时间的（容忍时间）

没有在规定时间同步完的进入OSR集合

绿色部分主要监督紫色部分有没有超时

ISR详解—HW–LEO

kafka--kafka基础概念-ISR详解,kafka,kafka,分布式

HW: High Watermark,高水位线，消费者只能最多拉取到高水位线
的消息
LEO: Log End Offset, 日志文件的最后一条记录的offset (偏移量)
ISR集合与HW和LEO直接存在着密不可分的关系

整个的这一条(0-9)可以看做 partition

消费者真正能消费的是0-5，但是6和6之后就能不消费

但是日志可能已经写到9了

为什么？

这个是跟ISR有关系

kafka--kafka基础概念-ISR详解,kafka,kafka,分布式

比如现在生产者要将3、4写入（如图-1），按照规矩呢，3、4首先会写到leader中，（如图-2）

此时可能follow1和follow2，没有将3、4同步过来，也就可能入图3的情况

kafka要求必须全部同步了，HW才能升高

这时 HW就不能升高

kafka--kafka基础概念-ISR详解,kafka,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-658813.html

到了这里，关于kafka--kafka基础概念-ISR详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

pytorch 分布式 Node/Worker/Rank等基础概念
分布式训练相关基本参数的概念如下: Definitions Node - A physical instance or a container; maps to the unit that the job manager works with. Worker - A worker in the context of distributed training. WorkerGroup - The set of workers that execute the same function (e.g. trainers). LocalWorkerGroup - A subset of the workers in the worker g
2024年02月02日
浏览(10)
分布式系统概念和设计——分布式共享内存
分布式共享内存分布式共享内存是在不共享物理内存的计算机之间实现数据的共享的一个抽象。有一个底层运行的系统保证其透明性，但是进程还是根据内存的分布处理物理内存的分布式能力 DMS最关键点：不需要关心数据的通信，消息传递能力是巨大的底层支持。生存周
2024年02月10日
浏览(11)
分布式锁实现（mysql，以及redis）以及分布式的概念
我旁边的一位老哥跟我说，你知道分布式是是用来干什么的嘛？一句话给我干懵了，我能隐含知道，大概是用来做分压处理的，并增加系统稳定性的。但是具体如何，我却道不出个1，2，3。现在就将这些做一个详细的总结。至少以后碰到面试官可以说上个123。那么就正式进入
2024年01月21日
浏览(16)
分布式概念
1.1 CAP定理在分布式系统中，一个Web应用最多只能同时支持的两个属性：一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本）可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户
2024年01月19日
浏览(8)
分布式搜索elasticsearch概念
什么是elasticsearch？ elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容目录 elasticsearch的场景 elasticsearch的发展 Lucene篇 Elasticsearch篇 elasticsearch的安装 elasticsearch的场景 elasticsearch结合kibana、Logstash、Beats，也就是elastic stack (ELK)。被
2024年02月04日
浏览(28)
单机，集群和分布式概念
1.受限于硬件资源，单机所能承受的用户并发量太少； 2.一个系统有多个模块，任意模块的修改都会导致整个项目代码重新编译、部署； 3.系统中，有些模块是CPU密集型，有些模块是I/O密集型，造成各个模块对于硬件资源的需求是不一样的。负载均衡集群的优点
2024年02月14日
浏览(12)
【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用
Kafka 安装包下载地址：https://archive.apache.org/dist/kafka/ 1. Kafka 伪分布式安装 1. 上传并解压 Kafka 安装包使用 FileZilla 或其他文件传输工具上传 Kafka 安装包： kafka_2.11-0.10.0.0.tgz 解压安装包 2. 编辑配置文件 3. 拷贝并修改配置文件分别修改 server2.properties、server3.properties 4. 创建日志
2024年02月14日
浏览(39)
分布式消息中间件概念
对于分布式消息中间件，首先要了解两个基础的概念，即什么是分布式系统，什么又是中间件。分布式系统 “A distributed system is one in which components located at networked computers communicate and coordinate their actions only by passing messasges.”——《Distributed Systems Concepts and Desig
2023年04月27日
浏览(8)
LVS集群和分布式概念
LVS 在计算机领域，集群早在 1960 年就出现，随着互联网和计算机相关技术的发展，现在集群这一技术已经在各大互联网公司普及。 1.1.1 集群概念计算机集群指一组通过计算机网络连接的计算机，它们一起工作，在许多方面，它们可以被视为一个单一的系统。与网格计算机
2024年02月10日
浏览(7)
分布式消息服务kafka
什么是消息中间件？消息中间件是分布式系统中重要的组件，本质就是一个具有接收消息、存储消息、分发消息的队列，应用程序通过读写队列消息来通信。例如：在淘宝购物时，订单系统处理完订单后，把订单消息发送到消息中间件中，由消息中间件将订单消息分发到下
2024年02月01日
浏览(10)