手拉手安装Kafka2.13发送和消费消息

这篇具有很好参考价值的文章主要介绍了手拉手安装Kafka2.13发送和消费消息。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

Kafka启动方式有Zookeeper和Kraft,两种方式只能选择其中一种启动,不能同时使用。

Kafka下载https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

解压tar -xzf kafka_2.13-3.7.0.tgz

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

一、Zookeeper启动Kafka(kafka内置zookeeper)

Kafka依赖Zookeeper

1、启动Zookeeper 2、启动Kafka

使用kafka自带Zookeeper启动

./zookeeper-server-start.sh ../config/zookeeper.properties &

./zookeeper-server-stop.sh ../config/zookeeper.properties

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

./kafka-server-start.sh ../config/server.properties &

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

./kafka-server-stop.sh ../config/server.properties

二、Zookeeper服务器启动Kafka

Zookeeper服务器安装

https://zookeeper.apache.org/

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

https://dlcdn.apache.org/zookeeper/zookeeper-3.9.2/apache-zookeeper-3.9.2-bin.tar.gz

tar zxvf apache-zookeeper-3.9.2-bin.tar.gz

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

配置Zookeeper服务器

cp zoo_sample.cfg zoo.cfg

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

启动Zookeeper服务器

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

./zkServer.sh start

修改Zookeeper端口

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

Zoo.cfg添加内容

admin.serverPort=8099

apache-zookeeper-3.9.2-bin/bin目录下重启Zookeeper

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

Zookeeper服务器启动kafka

/opt/kafka_2.13-3.7.0/bin目录下

./kafka-server-start.sh ../config/server.properties &

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

Kafka配置文件server.properties

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

三、使用KRaft启动Kafka

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

UUID通用唯一识别码(Universally Unique Identifier)

1、生成Cluster UUID(集群UUID):./kafka-storage.sh random-uuid

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

2.格式化kafka日志目录:./kafka-storage.sh format -t 3pMJGNJcT0uLIBsZhbucjQ -c ../config/kraft/server.properties

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

3.启动kafka:./kafka-server-start.sh ../config/kraft/server.properties &

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

使用kafka-topics.sh脚本创建主题

./kafka-topics.sh --create --topic 主题名 --bootstrap-server localhost:9092

列出所有主题

./kafka-topics.sh --list --bootstrap-server localhost:9092

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

查看主题详情

./kafka-topics.sh --describe --topic 主题名 --bootstrap-server localhost:9092

删除主题

./kafka-topics.sh --delete --topic 主题名 --bootstrap-server localhost:9092

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

使用kafka-console-producer.sh脚本发送消息

./kafka-console-producer.sh --topic test01 --bootstrap-server localhost:9092

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

使用kafka-console-consumer.sh脚本消费消息

./kafka-console-consumer.sh --topic test01 --from-beginning  --bootstrap-server localhost:9092

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

--from-beginning

If the consumer does not already have an established offset to consume from, start with the earliest message present in the log rather than the latest message.

使用了--from-beginning参数,是从最早消息开始读,不加--from-beginning参数从最新消息开始

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

Docker安装

列出已安装的docker

yum list installed | grep docker

删除旧版本docker

yum remove dockerxxx –y

安装最新版docker

yum install yum-utils -y

安装源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker

yum -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

查看docker镜像

docker images

docker搜索kafka镜像

docker search kafka

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

拉去镜像

docker pull apache/kafka:3.7.0

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

启动kafka容器

-p映射端口 主机端口:容器端口

docker run -p 9092:9092 apache/kafka:3.7.0

#后台运行 -d

docker run -p 9092:9092 -d apache/kafka:3.7.0

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

docker run [Options] image运行容器

docker run [Options] image

#参数说明

--name="名字"           指定容器名字

-d                     后台方式运行

-it                    使用交互方式运行,进入容器查看内容

-p                     指定容器的端口

       -p ip:主机端口:容器端口  配置主机端口映射到容器端口

       -p 主机端口:容器端口(常用)

       -p 容器端口

-P                     随机指定端口

-e                                  环境设置

-v                                   容器数据卷挂载

docker ps

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka

移除镜像

docker rmi pache/kafka:3.7.0

手拉手安装Kafka2.13发送和消费消息,java,MQ,kafka文章来源地址https://www.toymoban.com/news/detail-861869.html

到了这里,关于手拉手安装Kafka2.13发送和消费消息的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka2.x常用命令:创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费

    原创/朱季谦 接触kafka开发已经两年多,也看过关于kafka的一些书,但一直没有怎么对它做总结,借着最近正好在看《Apache Kafka实战》一书,同时自己又搭建了三台kafka服务器,正好可以做一些总结记录。 本文主要是记录如何在kafka集群服务器上创建topic,查看topic列表、分区、

    2024年02月03日
    浏览(13)
  • centos 7 kafka2.6单机安装及动态认证SASL SCRAM配置

    目录 1.kfaka安装篇 1.1 安装jdk 1.2安装kafka 2.安全篇 2.1 kafka安全涉及3部份: 2.2 Kafka权限控制认证方式 2.3 SASL/SCRAM-SHA-256 配置实例 2.3.1 创建用户 2.3.2 创建 JAAS 文件及配置 3.测试 3.1 创建测试用户 3.2 配置JAAS 文件 3.2.1 生产者配置 3.2.2 消费者配置 3.3 消息收发测试 依赖环境:

    2024年02月07日
    浏览(12)
  • 13、Kafka ------ kafka 消费者API用法(消费者消费消息代码演示)

    消费者API的核心类是 KafkaConsumer,它提供了如下常用方法: 下面这些方法都体现了Kafka是一个数据流平台,消费者通过这些方法可以从分区的任意位置、重新开始读取数据。 根据KafkaConsumer不难看出,使用消费者API拉取消息很简单,基本只要几步: 1、创建KafkaConsumer对象,创建

    2024年04月11日
    浏览(10)
  • kafka入门(一):kafka消息发送与消费

    kafka的基础概念 Producer (消息生产者) 向主题发布消息的客户端应用程序称为生产者(Producer),生产者用于持续不断的向某个主题发送消息。 Consumer (消息消费者) 订阅主题消息的客户端程序称为消费者(Consumer),消费者用于处理生产者产生的消息。 Consumer Group (消费者组) 每个消费

    2024年04月12日
    浏览(11)
  • Kafka 消息发送和消费流程

    流程如下: Producer 端直接将消息发送到 Broker 中的 Leader 分区中 Broker 对应的 Leader 分区收到消息会先写入 Page Cache,定时刷盘进行持久化(顺序写入磁盘) Follower 分区拉取 Leader 分区的消息,并保持与 Leader 分区数据一致,待消息拉取完毕后需要给 Leader 分区回复 ACK 确认消息

    2024年02月12日
    浏览(13)
  • kafka:消息发送以及消费的过程

    摘要 kafka的存储消息,生产者发送消息,消费者消费消息。这些看起来简单,但实际细想,会有很多问题需要解决:消息是单个单个发送还是批量发送?broker的主题里一有消息就立即推送给消费者吗?生产者的消息怎么保证成功发送到kafka,kafka怎么保证消息传给了消费者?

    2023年04月21日
    浏览(12)
  • SpringBoot3集成Kafka优雅实现信息消费发送

           首先,你的JDK是否已经是8+了呢?        其次,你是否已经用上SpringBoot3了呢?        最后,这次分享的是SpringBoot3下的kafka发信息与消费信息。        这次的场景是springboot3+多数据源的数据交换中心(数仓)需要消费Kafka里的上游推送信息,这里做数据

    2024年02月02日
    浏览(11)
  • 13.Spring 整合 Kafka + 发送系统通知 + 显示系统通知

    目录 1.Spring 整合 Kafka 2.发送系统通知 2.1 封装事件对象  2.2 开发事件的生产者和消费者 2.3 触发事件:在评论、点赞、关注后通知​编辑 3.显示系统通知 3.1 通知列表 3.1.1 数据访问层 3.1.2 业务层 3.1.3 表现层 3.2 开发通知详情 3.2.1 开发数据访问层 3.1.2 业务层 3.1.3 表现层 3.3 未

    2024年02月03日
    浏览(11)
  • 07、Kafka ------ 消息生产者(演示 发送消息) 和 消息消费者(演示 监听消息)

    简单来说,就是一个数据项。 ▲ 消息就是 Kafka 所记录的数据节点,消息在 Kafka 中又被称为记录(record)或事件(event)。 从存储上来看,消息就是存储在分区文件(有点类似于List)中的一个数据项,消息具有 key、value、时间戳 和 可选的元数据头。 ▲ 下面是一个示例事件

    2024年01月20日
    浏览(12)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包