kafka 关于设置消息存放周期

这篇具有很好参考价值的文章主要介绍了kafka 关于设置消息存放周期。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

kafka设置消息存放时间有两种配置

  1. 通过kafka server.properties配置文件
log.retention.hours=8
  1. 新建topic的时候添加参数
from confluent_kafka.admin import AdminClient, NewTopic

# Configure Kafka admin client
admin_conf = {'bootstrap.servers': 'localhost:9092'}
admin_client = AdminClient(admin_conf)

# Define topic configuration
topic_config = {
    'retention.ms': '604800000'  # 7 days
}

# Define topic properties
topic_properties = NewTopic(
    topic='my-topic',
    num_partitions=1,
    replication_factor=1,
    config=topic_config
)

# Create topic
admin_client.create_topics([topic_properties])

  1. 假如broker配置的retention和topic的设置的retention不一致
    如果topic的retention时间比broker log的时间小,kafka仍然会删除消息,即使topic的retention没到期。换句话说kafka会取二者的最小值设置消息的生命周期。

比如topic设置消息保存时间是7天,broker设置保存1天。这种情况下,kafka会在一天后删除消息

为了避免消息在topic设置的到期之前被删除,至少需要保证broker的log retention时间大于等于topic的retention时间文章来源地址https://www.toymoban.com/news/detail-648305.html

到了这里,关于kafka 关于设置消息存放周期的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka 消息日志原理 & 指定偏移量消费 & 指定时间戳消费

    Apache Kafka日志存储在物理磁盘上各种数据的集合,日志按照topic分区进行文件组织,每一个分区日志由一个或者多个文件组成。生产者发送的消息被顺序追加到日志文件的末尾。 如上图所述,Kafka主题被划分为3个分区。在Kafka中,分区是一个逻辑工作单元,其中记录被顺序附

    2024年02月15日
    浏览(49)
  • STM32使用内部时钟配置RTC,设置并读取时间、闹钟和周期唤醒

    说明:由于开发板上没有32.768kHz的时钟,所以选择内部32kHz的时钟。 由于我们选择内部时钟,所以设置为79和399,80x400=32000,实现输入32KHz时钟分频到1Hz。 DataFormat选项分别为BIN(时间为10进制)BCD(时间为16进制) Hours为初始时间的小时 Minutes为初始时间的分钟 Seconds为初始时间的秒

    2024年04月17日
    浏览(55)
  • 09、Kafka ------ 通过修改保存时间来删除消息(retention.ms 配置)

    Kafka并没有提供直接删除特定主题下消息的方法,只能是强制让消息过期之后,再来删除消息。 因此需要指定如下两个配置: 控制将指定主题下消息的保存时间设为一个很短时间: retention.ms(为特定主题设置) 控制 Kafka 尽快去检查消息是否过期(默认是5分钟检查一次)。

    2024年01月25日
    浏览(44)
  • kafka单独设置topic过期时间

    kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 一、全局设置 修改 server.properties,如下的值: 二、单独对某一个topic设置过期时间 但如果只有某一个topic数据量过大,想单独对这个topic的过期时间设置短点: 三、查看设置: 四、

    2024年02月12日
    浏览(43)
  • 【消息中间件MQ系列】Spring整合kafka并设置多套kafka配置

            圣诞节的到来,程序员不会收到圣诞老人的🎁,但可以自己满足一下自己,所以,趁着有时间,就记录一下这会儿撸了些什么代码吧!!!         因为业务原因,需要在系统内新增其他的kakfa配置使用,所以今天研究的是怎么在系统内整合多套kafka配置使用。

    2024年02月01日
    浏览(98)
  • 全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)

    最近在学习kafka相关的知识,特将学习成功记录成文章,以供大家共同学习。 首先要注意的是, Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。 在 Kafka 中, Topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。 物理上

    2024年01月25日
    浏览(45)
  • Java集成消息队列Kafka

    在使用Maven构建Java项目时,你可以通过添加Kafka的Maven依赖来引入Kafka相关的库。下面是Kafka的Maven坐标: 将上述依赖坐标添加到你的项目的pom.xml文件中,即可下载并引入Kafka客户端库。请注意,版本号可能会有所不同,你可以根据自己的需求选择最合适的版本。 另外,如果你

    2024年01月18日
    浏览(47)
  • MQTT-保留消息和遗嘱消息

    遗嘱消息 为什么需要遗嘱消息        MQTT的订阅发布机制,解耦了消息的发送方和接收方,这使我们没有办法获取对端的状态,为了解决该问题,MQTT提供了遗嘱消息,为意外断线的客户端提供了对外发出通知的能力 如何使用遗嘱消息        使用遗嘱消息,客户端需要在连接时,也

    2024年02月03日
    浏览(21)
  • 【学习笔记】Java——消息队列kafka

    1、Kafka combines three key capabilities: To publish (write) and subscribe to (read) streams of events, including continuous import/export of your data from other systems. To store streams of events durably and reliably for as long as you want. To process streams of events as they occur or retrospectively. And all this functionality is provided in a distr

    2024年02月09日
    浏览(44)
  • rabbitmq基础7——队列和消息过期时间设置、死信队列、延迟队列、优先级队列、回调队列、惰性队列

    这里过一个知识点——过期时间,即对消息或队列设置过期时间(TTL)。一旦消息过期,消费就无法接收到这条消息,这种情况是绝不允许存在的,所以官方就出了一个对策——死信队列,死信队列最初出现的意义就是为了应对消息过期丢失情况的手段之一。 那么过期时间具

    2024年02月03日
    浏览(83)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包