Zookeeper快速入门(Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理)

这篇具有很好参考价值的文章主要介绍了Zookeeper快速入门(Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、Zookeeper入门

1.1 概述

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
1、Zookeeper工作机制
Zookeeper从设置模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责储存和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

1.2 特点

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
1、Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
2、集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
3、全局数据一致,每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4、更新请求顺序执行,来着同一个Client的更新请求按其发送顺序依次执行。
5、数据更新原子性,一次数据更新要么成功,要么失败。
6、实时性,在一定时间范围内,Client能读取到最新数据

1.3 数据结构

Zookeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能储存1MB的数据,每个ZNode都可以通过其路径唯一标识。
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

1.4 应用场景

提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
1、统一命名服务
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

2、统一配置管理
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(1)分布式环境系,配置文件同步非常常见
(a)一般要求一个集群中,所有节点的配置信息是一致的,比如kafka集群。
(b)对配置文件修改后,希望能够快速同步到各个节点上。
(2)配置管理可交由Zookeeper实现
(a)可将配置信息写入Zookeeper上的一个ZNode
(b)各个客户端服务器监听这个ZNode
(c)一旦ZNode中的数据被修改,Zookeeper将通知各个客户端服务器

3、统一集群管理
(1)分布式环境中,实时掌握每个节点的状态是必要的
(a)可根据节点实时状态做出一些调整
(2)Zookeeper可以实现实时监控节点状态变化
(a)可将节点信息写入Zookeeper上的一个ZNode节点
(b)监听这个ZNode可获取它的实时状态变化。

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
4、服务器动态上下线

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
5、软负载均衡
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

2、Zookeeper本地安装

Zookeeper文件获取

链接:https://pan.baidu.com/s/1kVisN2YWXH119vX8mVa_uQ
提取码:zhm6

2.1 本地模式安装

1、安装前准备
(1)安装JDK
(2)拷贝Zookeeper安装包到Linux系统下
(3)解压到指定目录

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

2、配置修改
(1)将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg;

 mv zoo_sample.cfg zoo.cfg

(2)打开 zoo.cfg 文件,修改 dataDir 路径

 vim zoo.cfg

修改以下内容

dataDir=/opt/module/zookeeper-3.5.7/zkData

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(3)在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹

 mkdir zkData

3、操作Zookeeper
(1)启动Zookeeper

 bin/zkServer.sh start

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(2)查看进程是否启动

jps

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(3)查看状态

 bin/zkServer.sh status

(4)启动客户端

 bin/zkCli.sh

(5)退出客户端

quit

(6)停止 Zookeeper

 bin/zkServer.sh stop
2.2 配置参数解读

1、tickTime = 2000;通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
2、initLimit=10:LF初始通信时限
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)
3、syncLimit=5:LF同步通信时限
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
Leader和Follower之间通信时间如果超过syncLimit*tickTime,Leader认为Follower死掉,从服务器列表中删除掉Follower。
4、dataDir:保存Zookeeper中的数据
注意:默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
5、clientPort=2181:客户端连接端口,通常不做修改

3、Zookeeper集群操作

3.1 集群操作
3.1.1 集群安装

1、集群规划
在hadoop102、hadoop103、hadoop104三个节点上都部署Zookeeper。
2、解压安装(和上面一样)
3、配置服务器编号
(1)在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData
(2)在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件。在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格)
(3)拷贝配置好的 zookeeper 到其他机器上。并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4。

4、配置zoo.cfg文件
(1)重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg
(2)打开zoo.cfg文件
(a)修改数据储存路径配置
(b)增加如下配置
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(3)配置参数解读
server.A=B:C:D
A是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件myid,这个文件在datadir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个Server。
B是这个服务器的地址。
C是这个服务器Follower与集群中Leader服务器交换信息的端口。
D是万一集群中的Leader的服务挂了,需要一个端口来重新选举,选举出一个新的Leader,而这个端口就是用来执行选举时服务器互相通信的端口。
(4)同步zoo.cfg配置文件。

5、集群操作
zk.sh脚本

#!/bin/bash

case $1 in
"start") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 启动-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done
};;
"stop") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 停止-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
};;
"status") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 状态-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
};;
esac

(1)一键启动Zookeeper集群
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(2)查看状态
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

3.1.2 选举机制

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

Zookeeper选举机制—第一次启动

SID:服务器ID。用来唯一标识一台Zookeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致。这和Zookeeper服务器对于客户端“更新请求”的处理逻辑有关。
EPOCH:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。

1、服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为
LOOKING;
2、服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING。
3、服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
4、服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
5、服务器5启动,同4一样当小弟。

Zookeeper选举机制—非第一次启动
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(1)当Zookeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
(a)服务器初始化启动
(b)服务器运行期间无法和Leader保持连接
(2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
(a)集群中本来就已经存在一个Leader
对于这种情况,机器视图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。
(b)集群中确实不存在Leader
假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,
3和5服务器出现故障,因此开始进行Leader选举。
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

3.2 客户端命令行操作
3.2.1 命令行语法
命令基本语法 功能描述
help 显示所有操作命令
ls path 使用 ls 命令来查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息
create 普通创建 -s 含有序列 -e 临时(重启或者超时消失)
get path 获得节点的值 [可监听] -w 监听节点内容变化 -s 附加次级信息
set 设置节点的具体值
stat 查看节点状态
delete 删除节点
deleteall 递归删除节点

1、启动客户端

bin/zkCli.sh

2、显示所有操作命令
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

3.2.2 ZNode节点数据信息

1、查看当前ZNode所包含的信息

 ls /

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
2、查看当前节点详细数据

 ls -s /

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(1)czxid:创建节点的事务zxid
每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之前发生。
(2)ctime:ZNode被创建的毫秒数(从 1970 年开始)
(3)mzxid:znode 最后更新的事务 zxid
(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)
(5)pZxid:znode 最后更新的子节点 zxid
(6)cversion:znode 子节点变化号,znode 子节点修改次数
(7)dataversion:znode 数据变化号
(8)aclVersion:znode 访问控制列表的变化号
(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
(10)dataLength:znode 的数据长度
(11)numChildren:znode 子节点数量

3.2.3 节点类型(持久/短暂/有序号/无序号)

持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除。
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(1)持久化目录节点
客户端与Zookeeper断开连接后,该节点依旧存在
(2)持久化顺序编号目录节点
客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
(3)临时目录节点
客户端与Zookeeper断开连接后,该节点被删除
(4)临时顺序编号目录节点
客户端与 Zookeeper 断开连接后 , 该 节 点 被 删 除 , 只 是
Zookeeper给该节点名称进行顺序编号。

说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序。

1、分别创建2个普通节点(永久节点 + 不带序号)
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
注意:在创建节点是要赋值
2、获得节点的值
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
3、创建带序号的节点(永久节点 + 带序号)
(1)先创建一个普通的根节点/sanguo/weiguo
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(2)创建带序号的节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有 2 个节点,则再排序时从 2 开始,以此类推。
4、创建短暂节点(短暂节点 + 不带序号 or 带序号)
(1)创建短暂的不带序号的节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(2)创建短暂的带序号的节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(3)在当前客户端是能查看到的
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

(4)退出当前客户端然后再重启客户端,再次查看根目录下短暂节点已经删除
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
5、修改节点数据值
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop

3.2.4 监听器原理

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,Zookeeper会通知客户端。监听机制保证Zookeeper保存的任何的数据的任何变化都能快速的响应到监听了该节点的应用程序。
1、监听器详解
(1)首先要有一个main()线程
(2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络通信(connect),一个负责监听(listener)。
(3)通过connect线程将注册的监听事件发送给Zookeeper。
(4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
(5)Zookeeper监听到所以数据或路径发生变化,就会将这个消息发送给listener线程。
(6)listener线程内部调用了process()方法。

2、常见的监听
(1)监听节点数据的变化
get path [watch]
(2)监听子节点增减的变化
ls path [watch]

zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
1、节点的值变化监听
(1)在 hadoop104 主机上注册监听/sanguo 节点数据变化
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(2)在 hadoop103 主机上修改/sanguo 节点的数据
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(3)观察 hadoop104 主机收到数据变化的监听
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
注意:在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册监听一次,只能监听一次。想再次监听,需要再次注册。

2、节点的子节点变化监听(路径变化)
(1)在 hadoop104 主机上注册监听/sanguo 节点的子节点变化
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(2)在 hadoop103 主机/sanguo 节点上创建子节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
(3)观察 hadoop104 主机收到子节点变化的监听
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。

3.2.5 节点删除与查看

1、删除节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
2、递归删除节点
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop
3、查看节点状态
zookeeper,Zookeeper,java-zookeeper,zookeeper,分布式,java,hadoop文章来源地址https://www.toymoban.com/news/detail-843956.html

到了这里,关于Zookeeper快速入门(Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://blog.csdn.net/qq_44804713/article/details/130900547

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 面试官:说一说Zookeeper中Leader选举机制

    哈喽!大家好,我是小奇,一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新,可以微信搜索【小奇JAVA面试】第一时间阅读,回复【资料】更有我为大家准备的福利哟! 今天又是

    2023年04月08日
    浏览(13)
  • 浅谈Zookeeper集群选举Leader节点源码

    写在前面: zookeeper源码比较复杂,本文讲解的重点为各个zookeeper服务节点之间的state选举。至于各个节点之间的数据同步,不在文本的侧重讲解范围内。 在没有对zookeeper组件有一个整体架构认识的基础上,不建议直接死磕细节。本文写作的目的也是基于此,阅读本文,希望读

    2024年02月07日
    浏览(11)
  • ZooKeeper的应用场景(集群管理、Master选举)

    随着分布式系统规模的日益扩大,集群中的机器规模也随之变大,因此,如何更好地进行集群管理也显得越来越重要了。 所谓集群管理,包括集群监控与集群控制两大块,前者侧重对集群运行时状态的收集,后者则是对集群进行操作与控制。在日常开发和运维过程中,我们经

    2024年02月12日
    浏览(5)
  • ZooKeeper快速入门学习+在springboot中的应用+监听机制的业务使用

    目录 前言 基础知识 一、什么是ZooKeeper 二、为什么使用ZooKeeper 三、数据结构 四、监听通知机制 五、选举机制 使用 1 下载zookeeper 2 修改 3 排错 在SpringBoot中的使用 安装可视化插件 依赖 配置 安装httpclient方便测试 增删查改 新建控制器 创建节点 查询节点 更新节点 删除节点

    2024年02月11日
    浏览(12)
  • ZooKeeper只完美解决Unable to read additional data from server sessionid 0x0报错问题,并带你深度理解ZooKeeper内部机制之选举机制

    🍅 作者简介:上火不找我,CSDN2022新星计划top4🏆、算法领域新星创造者💪 🍅有什么问题直接私信作者,秒回哦💪💪💪 Linux环境下 今天搭建了一个zookeeper集群,分别为server2,server3,server4。 报错如下: 在一个节点上进入到zookeeper命令行执行 zkCli.sh 时,报了下面这个异常! 一开

    2023年04月08日
    浏览(9)
  • Flume 快速入门【概述、安装、拦截器】

    Flume 是一个开源的数据采集工具,最初由 Apache 软件基金会开发和维护。它的主要目的是帮助用户将大规模数据从各种数据源(如日志文件、网络数据源、消息队列等)采集、传输和加载到数据存储系统(如 Hadoop HDFS、Apache HBase、Apache Hive 等)。 Flume 旨在处理大规模数据流,

    2024年02月07日
    浏览(12)
  • 使用ZooKeeper实现数据分片机制及其集群容错能力

    作者:禅与计算机程序设计艺术 在分布式数据库中,数据分片是指将一个大的表按照业务规则或某种规则拆分成多个小的子表或者分区,然后分别存储到不同的物理服务器上,提高查询效率、扩展性等,而每个小的子表又可以称之为“分片”,这个过程就是数据分片。一般情

    2024年02月05日
    浏览(13)
  • ZooKeeper教程、命令、集群

    目录 什么是Zookeeper? zookeeper的特性 zookeeper的作用 zookeeper的安装 zookeeper的目录结构介绍 zookeeper配置文件zoo_sample.cfg zookeeper启动 zookeeper基本数据模型 zookeeper的session zookeeper命令 zookeeper的watcher 机制 触发 watcher 事件 zookeeper的ACL权限 ACL 命令 acl world 示例 acl auth/digest 示例 acl i

    2024年02月03日
    浏览(9)
  • zookeeper选举流程源码分析

    zookeeper选举流程源码分析 选举的代码主要是在 QuorumPeer.java 这个类中。 它有一个内部枚举类,用来表示当前节点的状态。 LOOKING: 当前节点在选举过程中 FOLLOWING:当前节点是从节点 LEADING: 当前节点是主节点 OBSERVING: 当前节点是观察者状态,这种状态的节点不参与选举的投

    2024年02月11日
    浏览(8)
  • zookeeper源码(04)leader选举流程

    在\\\"zookeeper源码(03)集群启动流程\\\"中介绍了leader选举的入口,本文将详细分析leader选举组件和流程。 quorumPeer的start阶段使用startLeaderElection()方法启动选举 LOOKING状态,投自己一票 createElectionAlgorithm - 创建选举核心组件:QuorumCnxManager(管理连接)、FastLeaderElection(选举)等 quorumPeer的

    2024年02月05日
    浏览(8)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包