zookeeper安装教程及其基本使用

这篇具有很好参考价值的文章主要介绍了zookeeper安装教程及其基本使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

目录

zookeeper下载:

zookeeper下载官网:

本地安装配置:

启动zookeeper:

 开启服务端:

启动客户端:

查看zookeeper的状态:

zoo.cfg文件解读:

zookeeper的集群安装:

报错分析:

选举机制---第一次启动:

部分概念:

选举机制---非第一次启动:

ZK集群的启动与停止脚本:

客户端命令行操作:

参数分析: 

节点类型(持久/短暂/有序号/无序号):

监听器原理:

监听原理详解:

 节点的值变化监听:

节点的子节点变化监听(路径变化):

 节点删除与查看:


zookeeper下载:

zookeeper下载官网:

https://zookeeper.apache.org/

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

点击上述,下载3.5.7版本 

本地安装配置:

下载到win机上,上传到linux上,再进行解压,修改配置文件(配置文件在conf目录下)

先修改zoo文件的名称:zoo_sample.cfg 修改为 zoo.cfg(sample是模板的意思)

进入zoo.cfg文件进行配置

需要修改dataDir的路径

在zookeeper的目录下自己创建一个目录作为zookeeper的数据与事务日志的存储目录

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

保存退出

启动zookeeper:

进入zookeeper的bin目录下可以找到下边两个脚本便是启动脚本文件(一个客户端,一个服务端,先启动服务端再启动客户端)

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

 开启服务端:

bin/zkServer.sh start

 zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

启动客户端:

与服务端不一样,不需要start

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式 进入后:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

查看zookeeper的状态:

bin/zkServer.sh status

 zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

zoo.cfg文件解读:

tickTime=2000:

通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒

initLimit=10(首次连接时限):

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)

syncLimit=5(非首次连接时限):

Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

clientPort=2181
客户端连接端口,通常不做修改。

dataDir=/opt/module/zookeeper-3.5.7/zkData
保存Zookeeper中的数据,一般默认temp,默认的目录容易被Linux定期删除

zookeeper的集群安装:

在上边我们已经安装好了本地模式,集群模式只需要我们修改一些配置进行分发到集群的其他服务器上即可。

(1)zkData 目录下创建一个 myid 的文件在文件中添加与 server 对应的编号(相当于唯一标识符)(注意:上下不要有空行,左右不要有空格)

(2)将配置好的文件进行分发

xsync zookeeper-3.5.7 

(3)修改配置,分发到集群的其他服务器上后需要修改zkData 目录下的myid 的文件修改为自己的唯一标识符

  (4) 修改zoo.cfg文件:

因为我们在本地模式的时候已经修改了部分配置文件,我们从本地模式转变成集群模式需要在zoo.fg文件下添加配置:

#######################cluster########################## 
server.2=hadoop102:2888:3888 
server.3=hadoop103:2888:3888 
server.4=hadoop104:2888:3888 

参数格式:

server.A=B:C:D

A 是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据 就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比 较从而判断到底是哪个 server。

B 是这个服务器的地址;

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的

Leader,而这个端口就是用来执行选举时服务器相互通信的端口

再次分发文件

启动zookeeper(没有成功)

报错分析:

这里我一直启动不了,因为我以前运行过本地模式,当时怀疑是存储的日志问腿,就去zkdata文件夹下删除了version-2 文件夹重启还是不能启动zookeeper,有去看了配置文件zoo.cfg,后来发现是上边新加的配置信息后边结尾带空格了,删除之后重启,启动zookeeper成功

选举机制---第一次启动:

本机制是在5台服务器的前提下进行的

(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数为0票,服务器2票数为2票,没有半数以上结果,无法选举出leader,服务器1,2状态保持LOOKING

(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;

(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,进入follow状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。

总结:选举机制是一般都会先选举自己,发现不过半,则会转换自己的投票,转投myid比自己大的。当有服务器选票过半数后,则会选举出leader。后边的服务器就会进行比票,但是已经确定的leader与follow不会再进行改选。

部分概念:

SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。

ZXID:(客户端每次执行写操作都有事务id)事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻, 集群中的每台机器的ZXID值不一定完全一 致,这和ZooKeeper服务器对于客户端“更 新请求”的处理逻辑有关。

Epoch:每个Leader任期的代号。没有

Leader时同一轮投票过程中的逻辑时钟值是 相同的。每投完一次票这个数据就会增加

选举机制---非第一次启动:

(1)当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:

服务器初始化启动。

• 服务器运行期间无法和Leader保持连接。 (2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:

• 集群中本来就已经存在一个Leader。 对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连 接,并进行状态同步即可。

• 集群中确实不存在Leader。

假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。 SID为1、2、4的机器投票情况(分别为EPOCH,ZXID,SID ): (1,8,1) (1,8,2) (1,7,4) 

选举Leader规则: ①EPOCH大的直接胜出 ②EPOCH相同,(ZXID)事务id大的胜出

③(ZXID)事务id相同,(SID)服务器id大的胜出

ZK集群的启动与停止脚本:

注:start/stop/status不要换行,会让脚本失效,显示找不到

#!/bin/bash 
 
case $1 in 
"start"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 启动 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" 
 done 
};; 
"stop"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 停止 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop" 
 done 
};; 
"status"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 状态 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status" 
 done 
};; 
esac

客户端命令行操作:

启动特定服务器的客户端:

 bin/zkCli.sh -server hadoop102:2181

查看节点信息:
 

ls -s /

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

参数分析: 

(1)czxid:创建节点的事务 zxid

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所 有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之 前发生。

(2)ctime:znode 被创建的毫秒数(从 1970 年开始)

(3)mzxid:znode 最后更新的事务 zxid

(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)

(5)pZxid:znode 最后更新的子节点 zxid

(6)cversion:znode 子节点变化号,znode 子节点修改次数

(7)dataversion:znode 数据变化号

(8)aclVersion:znode 访问控制列表的变化号

(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是 临时节点则是 0。

(10)dataLength:znode 的数据长度

(11)numChildren:znode 子节点数量

节点类型(持久/短暂/有序号/无序号):

持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除

短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除

持久化顺序编号目录节点:

客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

3)临时目录节点

客户端与Zookeeper断开连接后,该节点被删除

4)临时顺序编号目录节点

客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

(被删除后,会从该节点进行递增编号)

示例:

create /sanguo "diaochan" 

在你创建节点的时候必须代值

create /sanguo/shuguo "liubei" 

不要依/结尾

ls /sanguo

上述代码“ls”只能查看当前节点是否有子节点,不能查看节点的值

get -s /sanguo

上述命令可以查看节点的值

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

上述创建的为不带序号的永久节点

 创建带序号的永久节点:

create -s /sanguo/weiguo/zhangliao "zhangliao"

 zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

 可以看到节点zhangliao是带节点的

带序号的情况下,我再次执行上边语句:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

 会显示创建了002号节点 ,但是如果我们创建的是不带序号的已经存在的永久节点,那么就会报错节点已经存在

创建临时节点:

创建临时节点是加上  -e

create -e /sanguo/wuguo "sunquan"

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

这个语句是创建的不带序号的临时节点

下边我们再次创建带序号的临时节点:

创建的还是吴国

 create -e -s /sanguo/wuguo "zhouyu"

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式 

断开客户端,查看临时节点是否还存在:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式 

 修改节点的值:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

监听器原理:

监听器主要是监听  监听节点数据的变化 (get path [watch])与 监听子节点增减的变化(ls path [watch])

监听原理详解:

1)首先要有一个main()线程

2)在main线程中创建Zookeeper客户端,这时就会创建两个线

程,一个负责网络连接通信(connet),一个负责监听(listener)。

3)通过connect线程将注册的监听事件发送给Zookeeper。

4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。

5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。

6)listener线程内部调用了process()方法。

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

 节点的值变化监听:

在开启103,104两台服务器的本地客户端

在hadoop104主机上注册监听/sanguo节点数据变化:

 get -w /sanguo 

在hadoop103主机上修改/sanguo节点的数据:

set /sanguo "xisi" 

观察hadoop104主机收到数据变化的监听:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

但是,申请监听只能监听到一次它的修改,在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。

节点的子节点变化监听(路径变化):

在hadoop104主机上注册监听/sanguo节点的子节点变化

ls -w /sanguo 

 在hadoop103主机/sanguo节点上创建子节点

create /sanguo/jin "simayi"

观察hadoop104主机收到子节点变化的监听:

zookeeper安装教程及其基本使用,Zookeeper,zookeeper,linux,分布式

注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。

 节点删除与查看:

删除单个节点:

delete /sanguo/jin 

 递归删除节点:

deleteall /sanguo/shuguo 

查看节点状态:文章来源地址https://www.toymoban.com/news/detail-631864.html

stat /sanguo

到了这里,关于zookeeper安装教程及其基本使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper的基本概念以及安装

            Zookeeper是一个分布式的(多台机器同时干一件事情),开源的分布式应用程序协调服务,是Google公司Chubby产品,是Hadoop和Base重要的组件,.它是一个分布式应用程序提供一致性的服务的软件,提供的功能包括:配置服务,域名服务,分布式同步,组服务等         Zookeeper目标封

    2024年02月15日
    浏览(49)
  • 使用ZooKeeper实现数据分片机制及其集群容错能力

    作者:禅与计算机程序设计艺术 在分布式数据库中,数据分片是指将一个大的表按照业务规则或某种规则拆分成多个小的子表或者分区,然后分别存储到不同的物理服务器上,提高查询效率、扩展性等,而每个小的子表又可以称之为“分片”,这个过程就是数据分片。一般情

    2024年02月05日
    浏览(53)
  • Linux · Zookeeper的安装、使用及常用命令,虚拟机ping外网,linux防火墙设置

    近期在学习Zookeeper,将服务注册进去并能够正常使用。由于Zookeeper依赖于Java和Linux,所以中间还碰到了一些虚拟机上的问题,在此记录一下,共同学习一下。 Zookeeper是一个分布式协调服务,一般用来做服务注册中心。Zookeeper的数据是存储在内存中的,因此效率较高,内部数据

    2023年04月25日
    浏览(46)
  • 在Linux上安装Zookeeper集群(zookeeper-3.5.9)

    记录 :455 场景 :在CentOS 7.9操作系统上,使用zookeeper-3.5.9版本,在三台机器上,安装Zookeeper集群。 版本 :zookeeper-3.5.9,CentOS 7.9,Linux kernel-5.4.218。 1.主机规划 目标:使用三台主机部署Zookeeper集群。 主机app161;IP:192.168.19.161;端口:22181,28001,28501。 主机app162;IP:192.168.

    2024年02月10日
    浏览(37)
  • ubuntu安装zookeeper详细教程

    官网下载地址 上传方法点击链接 保存data的存储路径,在config文件中进行修改

    2024年02月11日
    浏览(49)
  • ZooKeeper 分布式协调服务: 概述及原理, 安装配置, 基本操作

    作者:禅与计算机程序设计艺术 Apache Zookeeper 是 Apache Hadoop 的子项目之一,是一个开源的分布式协调服务。它负责存储和维护关于网络中各个节点的数据。Zookeeper 提供了以下功能:配置维护、域名服务、同步和共享、软/硬件负载均衡、集群管理、Master 选举等。它的架构使得

    2024年02月08日
    浏览(41)
  • Docker安装Zookeeper教程(超详细)

    生命无罪,健康万岁,我是laity。 我曾七次鄙视自己的灵魂: 第一次,当它本可进取时,却故作谦卑; 第二次,当它在空虚时,用爱欲来填充; 第三次,在困难和容易之间,它选择了容易; 第四次,它犯了错,却借由别人也会犯错来宽慰自己; 第五次,它自由软弱,却把

    2024年02月02日
    浏览(39)
  • zookeeper安装-linux

    学kafka的时候安装 Apache ZooKeeper 安装地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz 解压 改配置 在设置的dataDir目录下创建一个名字叫myid的文件(必须叫myid!!!) 写入一个数(几都行,只要三个集群别一样) [root@hadoop1 zkdata]# echo 1 myid [root@ha

    2024年02月08日
    浏览(39)
  • Linux安装Zookeeper

    Zookeeper可以作为分布式集群开发,本文是基于Centos7环境下安装的Zookeeper,具体步骤如下文所示: (1)下载Zookeeper,这里下载的是zookeeper-3.4.10.tar.gz,可以使用Linux的wget命令,也可以下载好安装包,将其上传至Linux环境中;下载的网址为: (2)将其解压到/usr/local路径下,解压

    2024年02月04日
    浏览(25)
  • Linux Zookeeper 安装

    在学习环境中,如果没有多余的服务器,这里就将三个ZooKeeper 节点都安装到本地机器上,故称谓伪集群模式。 虽然,伪集群模式只是便于开发、普通测试,尽量不用于生产环境。从学习的角度来说,如果了解了伪集群模式下的安装和配置,生产环境下的安装和配置的方法,

    2024年04月17日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包