大数据Zookeeper--集群操作

这篇具有很好参考价值的文章主要介绍了大数据Zookeeper--集群操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

集群操作

集群安装

1)集群规划

在hadoop102、hadoop103 和 hadoop104 三个节点上都部署Zookeeper。

2)解压安装

(1)在hadoop102解压Zookeeper安装包到/opt/module/目录下

[yudan@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7bin.tar.gz -C /opt/module/ 

(2)修改apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7

[yudan@hadoop102 module]$ mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

3)配置服务器编号
(1)在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData

[yudan@hadoop102 zookeeper-3.5.7]$ mkdir zkData 

(2)在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件

[yudan@hadoop102 zkData]$ vim myid

在文件中添加与server对应的编号(注意:上下不要有空行,左右不要有空格)

2 

注意:添加myid文件,一定要在Linux里面创建,在notepad++里面很可能乱码

(3)拷贝配置好的zookeeper到其他机器上

[yudan@hadoop102 module ]$ xsync  zookeeper-3.5.7

将hadoop103、hadoop104的myid分别修改为3、4

4)配置zoo.cfg文件
(1)重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[yudan@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg 

(2)打开zoo.cfg文件

[yudan@hadoop102 conf]$ vim zoo.cfg 

#修改数据存储路径配置 
dataDir=/opt/module/zookeeper-3.5.7/zkData

#增加如下配置 
#######################cluster########################## 
server.2=hadoop102:2888:3888 
server.3=hadoop103:2888:3888 
server.4=hadoop104:2888:3888

(3)配置参数解读

server.A=B:C:D。
  • A 是一个数字,表示这个是第几号服务器;
    集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper 启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
  • B 是这个服务器的地址;
  • C 是这个服务器Follower与集群中的Leader服务器交换信息的端口;
  • D 是万一集群中的Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的
    Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

(4)同步zoo.cfg配置文件

[yudan@hadoop102 conf]$ xsync zoo.cfg 

5)集群操作
(1)分别启动Zookeeper

[yudan@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start 
[yudan@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start 
[yudan@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start 

(2)查看状态

[yudan@hadoop102 zookeeper-3.5.7]# bin/zkServer.sh status 
JMX enabled by default 
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg 
Mode: follower 

[yudan@hadoop103 zookeeper-3.5.7]# bin/zkServer.sh status 
JMX enabled by default 
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg 
Mode: leader 

[yudan@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status 
JMX enabled by default 
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg 
Mode: follower 

选举机制(面试重点)

Zookeeper选举机制——第一次启动

zookeeper 集群操作,大数据,zookeeper,分布式

Zookeeper选举机制——非第一次启动

zookeeper 集群操作,大数据,zookeeper,分布式

ZK集群启动停止脚本

1)在hadoop102的/home/yudan/bin目录下创建脚本

[yudan@hadoop102 bin]$ vim zk.sh 

在脚本中编写如下内容

#!/bin/bash 
 
case $1 in 
"start"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
        echo ---------- zookeeper $i 启动 ------------ 
  ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
start" 
 done 
};; 
"stop"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
        echo ---------- zookeeper $i 停止 ------------     
  ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
stop" 
 done 
};; 
"status"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
        echo ---------- zookeeper $i 状态 ------------     
  ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh 
status" 
 done 
};; 
esac

2)增加脚本执行权限

[yudan@hadoop102 bin]$ chmod 777 zk.sh 

3)Zookeeper集群启动脚本

[yudan@hadoop102 module]$ zk.sh start 

4)Zookeeper集群停止脚本

[yudan@hadoop102 module]$ zk.sh stop 

客户端命令行操作

命令行语法

命令基本语法 功能描述
help 显示所有操作命令
ls path 使用 ls 命令来查看当前znode的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息
create 普通创建 -s 含有序列 -e 临时(重启或者超时消失)
get path 获得节点的值 [可监听] -w 监听节点内容变化 -s 附加次级信息
set 设置节点的具体值
stat 查看节点状态
delete 删除节点
deleteall 递归删除节点

1)启动客户端

[yudan@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop102:2181

2)显示所有操作命令

[zk: hadoop102:2181(CONNECTED) 1] help

znode节点数据信息

1)查看当前znode中所包含的内容

[zk: hadoop102:2181(CONNECTED) 0] ls / 
[zookeeper] 

2)查看当前节点详细数据

[zk: hadoop102:2181(CONNECTED) 5] ls -s / 

[zookeeper]cZxid = 0x0 
ctime = Thu Jan 01 08:00:00 CST 1970 
mZxid = 0x0 
mtime = Thu Jan 01 08:00:00 CST 1970 
pZxid = 0x0 
cversion = -1 
dataVersion = 0 
aclVersion = 0 
ephemeralOwner = 0x0 
dataLength = 0 
numChildren = 1 

(1)czxid:创建节点的事务zxid

每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。

(2)ctime:znode 被创建的毫秒数(从1970年开始)

(3)mzxid:znode 最后更新的事务zxid

(4)mtime:znode 最后修改的毫秒数(从1970年开始)

(5)pZxid:znode 最后更新的子节点zxid

(6)cversion:znode 子节点变化号,znode子节点修改次数

(7)dataversion:znode 数据变化号

(8)aclVersion:znode 访问控制列表的变化号

(9)ephemeralOwner:如果是临时节点,这个是znode拥有者的session id。如果不是
临时节点则是0。

(10)dataLength:znode 的数据长度

(11)numChildren:znode 子节点数量

节点类型(持久/短暂/有序号/无序号)

zookeeper 集群操作,大数据,zookeeper,分布式
1)分别创建2个普通节点(永久节点 + 不带序号)

[zk: localhost:2181(CONNECTED) 3] create /sanguo "diaochan" 
Created /sanguo 
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei" 
Created /sanguo/shuguo
注意:创建节点时,要赋值 

2)获得节点的值

[zk: localhost:2181(CONNECTED) 5] get -s /sanguo 
diaochan 
cZxid = 0x100000003 
ctime = Wed Aug 29 00:03:23 CST 2018 
mZxid = 0x100000003 
mtime = Wed Aug 29 00:03:23 CST 2018 
pZxid = 0x100000004 
cversion = 1 
dataVersion = 0 
aclVersion = 0 
ephemeralOwner = 0x0
dataLength = 7 
numChildren = 1 

[zk: localhost:2181(CONNECTED) 6] get -s /sanguo/shuguo 
liubei 
cZxid = 0x100000004 
ctime = Wed Aug 29 00:04:35 CST 2018 
mZxid = 0x100000004 
mtime = Wed Aug 29 00:04:35 CST 2018 
pZxid = 0x100000004 
cversion = 0 
dataVersion = 0 
aclVersion = 0 
ephemeralOwner = 0x0 
dataLength = 6 
numChildren = 0 

3)创建带序号的节点(永久节点 + 带序号)
(1)先创建一个普通的根节点/sanguo/weiguo

[zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao" 
Created /sanguo/weiguo

(2)创建带序号的节点

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/zhangliao "zhangliao" 
Created /sanguo/weiguo/zhangliao0000000000 

[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/zhangliao "zhangliao" 
Created /sanguo/weiguo/zhangliao0000000001 

[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/xuchu "xuchu" 
Created /sanguo/weiguo/xuchu0000000002

如果原来没有序号节点,序号从0开始依次递增。如果原节点下已有2个节点,则再排
序时从2开始,以此类推。

4)创建短暂节点(短暂节点 + 不带序号 or 带序号)
(1)创建短暂的不带序号的节点

[zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu" 
Created /sanguo/wuguo 

(2)创建短暂的带序号的节点

[zk: localhost:2181(CONNECTED) 2] create -e -s /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo0000000001 

(3)在当前客户端是能查看到的

[zk: localhost:2181(CONNECTED) 3] ls /sanguo  
[wuguo, wuguo0000000001, shuguo] 

(4)退出当前客户端然后再重启客户端

[zk: localhost:2181(CONNECTED) 12] quit 
[yudan@hadoop104 zookeeper-3.5.7]$ bin/zkCli.sh

(5)再次查看根目录下短暂节点已经删除

[zk: localhost:2181(CONNECTED) 0] ls /sanguo 
[shuguo] 

5)修改节点数据值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi" 

监听器原理

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,ZooKeeper会通知客户端。监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
zookeeper 集群操作,大数据,zookeeper,分布式
1)节点的值变化监听
(1)在hadoop104主机上注册监听/sanguo节点数据变化

[zk: localhost:2181(CONNECTED) 26] get -w /sanguo 

(2)在hadoop103主机上修改/sanguo节点的数据

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi" 

(3)观察hadoop104主机收到数据变化的监听

WATCHER:: 
WatchedEvent	state:SyncConnected		type:NodeDataChanged 
path:/sanguo 

注意:在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。

2)节点的子节点变化监听(路径变化)
(1)在hadoop104主机上注册监听/sanguo节点的子节点变化

[zk: localhost:2181(CONNECTED) 1] ls -w /sanguo  
[shuguo, weiguo]

(2)在hadoop103主机/sanguo节点上创建子节点

[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi" 
Created /sanguo/jin

(3)观察hadoop104主机收到子节点变化的监听

WATCHER:: 
WatchedEvent	state:SyncConnected		type:NodeChildrenChanged 
path:/sanguo 

注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。 

节点删除和查看

1)删除节点

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

2)递归删除节点

[zk: localhost:2181(CONNECTED) 15] deleteall /sanguo/shuguo

3)查看节点状态

[zk: localhost:2181(CONNECTED) 17] stat /sanguo 
cZxid = 0x100000003 
ctime = Wed Aug 29 00:03:23 CST 2018 
mZxid = 0x100000011 
mtime = Wed Aug 29 00:21:23 CST 2018 
pZxid = 0x100000014 
cversion = 9 
dataVersion = 1 
aclVersion = 0 
ephemeralOwner = 0x0 
dataLength = 4 
numChildren = 1 

客户端API操作

前提:保证hadoop102、hadoop103、hadoop104服务器上Zookeeper集群服务端启动。

IDEA环境搭建

1)创建一个maven工程:zookeeper

2)添加pom文件

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>

        <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.5.7</version>
        </dependency>
    </dependencies>

3)拷贝log4j.properties文件到项目根目录

需要在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在
文件中填入。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]- %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4)创建包名com.yudan.zk

5)创建类名称zkClient

创建Zookeeper客户端

import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;

public class zkClient {

    // 注意:逗号左右不能有空格
    private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    // 连接客户端的超时时间(SessionTimeout)起码要大于原来zookeeper服务端设置的延迟时间(tickTime*initLimit),否则就会因为超时而报错
    // tickTime:通信心跳时间,ZooKeeper服务器与客户端心跳时间(单位:毫秒
	// initLimit:初次通信时限,LF(Leader,Follower)初始连接时能容忍的最多心跳数(tickTime的个数)
	// 在zoo.cfg配置文件中 tickTime = 2000  initLimit = 10  zookeeper服务端的延迟时间 = 20000
	// sessionTimeout > LF > 20000 
    private int sessionTimeout = 100000;
    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                List<String> children = null;
                try {
                    children = zkClient.getChildren("/", true);
                    System.out.println("---------------------------------");
                    for(String child : children) {
                        System.out.println(child);
                    }
                } catch (KeeperException e) {
                    throw new RuntimeException(e);
                } catch (InterruptedException e) {
                    throw new RuntimeException(e);
                }
            }
        });
    }

创建子节点

// 创建子节点
    @Test
    public void create() throws InterruptedException, KeeperException {
    // 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型 
        String nodeCreated = zkClient.create("/yudan", "yudan1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

测试:在hadoop102的zk客户端上查看创建节点情况

[zk: localhost:2181(CONNECTED) 16] get -s /yudan
yudan1

获取子节点并监听节点变化

// 获取子节点
    @Test
    public void getChildren() throws InterruptedException, KeeperException {
        // 延时阻塞
        Thread.sleep(Long.MAX_VALUE);
    }

(1)在IDEA控制台上看到如下节点:

zookeeper
sanguo
yudan

(2)在hadoop102的客户端上创建再创建一个节点/yudan1,观察IDEA控制台

[zk: localhost:2181(CONNECTED) 3] create /yudan1 "yudan1"

(3)在hadoop102的客户端上删除节点/atguigu1,观察IDEA控制台

 [zk: localhost:2181(CONNECTED) 4] delete /yudan1

判断Znode是否存在

	// 判断znode是否存在
    @Test
    public void exist() throws InterruptedException, KeeperException {
        Stat stat = zkClient.exists("/yudan", false);

        System.out.println(stat==null?"not exist":"exist");
    }

客户端向服务端写数据流程

写流程之写入请求直接发送给Leader节点

zookeeper 集群操作,大数据,zookeeper,分布式

写流程之写入请求发送给follower节点

zookeeper 集群操作,大数据,zookeeper,分布式文章来源地址https://www.toymoban.com/news/detail-828768.html

到了这里,关于大数据Zookeeper--集群操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式集群框架——有关zookeeper的面试考点

          当涉及到大规模分布式系统的协调和管理时,Zookeeper是一个非常重要的工具。 1. 分布式协调服务:Zookeeper是一个分布式协调服务,它提供了一个高可用和高性能的环境,用于协调和同步分布式系统中的各个节点。它通过提供共享的命名空间和一致性的数据模型来简化开

    2024年02月11日
    浏览(48)
  • 分布式集群——jdk配置与zookeeper环境搭建

    分布式集群——jdk配置与zookeeper环境搭建 分布式集群——搭建Hadoop环境以及相关的Hadoop介绍 文章目录 系列文章目录 前言 一 zookeeper介绍与环境配置 1.1 zookeeper的学习 1.2 Zookeeper的主要功能 1.2.1 znode的节点类型 1.2.2 zookeeper的实现 1.3 Zookeeper的特征 zookeeper的几种角色? 1.4 关于

    2024年02月10日
    浏览(59)
  • 第五节 zookeeper集群与分布式锁_2

    1)要介绍分布式锁,首先要提到与分布式锁相对应的是线程锁。 线程锁 :主要用来给方法、代码块加锁。当某个方法或代码使用锁,在同一时刻仅有一个线程执行该方法或该代码段。 线程锁只在同一JVM中有效果,因为线程锁的实现在根本上是依靠线程之间共享内存实现的,

    2024年02月19日
    浏览(46)
  • 分布式应用之zookeeper集群+消息队列Kafka

           ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。为分布式框架提供协调服务的

    2024年02月06日
    浏览(66)
  • zookeeper+kafka分布式消息队列集群的部署

    目录 一、zookeeper 1.Zookeeper 定义 2.Zookeeper 工作机制 3.Zookeeper 特点 4.Zookeeper 数据结构 5.Zookeeper 应用场景 (1)统一命名服务 (2)统一配置管理 (3)统一集群管理 (4)服务器动态上下线 6.Zookeeper 选举机制 (1)第一次启动选举机制 (2)非第一次启动选举机制 7.部署zookeepe

    2024年02月14日
    浏览(52)
  • 【简单认识zookeeper+kafka分布式消息队列集群的部署】

    Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已

    2024年02月13日
    浏览(42)
  • 搭建Zookeeper集群:三台服务器,一场分布式之舞

    欢迎来到我的博客,代码的世界里,每一行都是一个故事 在分布式系统的舞台上,Zookeeper是一位不可或缺的重要角色。如何搭建一个稳定、高性能的Zookeeper集群,成为每位系统管理员和开发者的必修课。让我们一同踏上这场集群之旅,揭秘三台服务器背后的Zookeeper配置细节,

    2024年04月28日
    浏览(55)
  • 39学习分布式计算框架 Hadoop 的高可用方案,如 NameNode 集群、ZooKeeper

    Hadoop 是一个分布式计算框架,用于存储和处理大数据。在 Hadoop 集群中,NameNode 是一个关键组件,它负责管理 Hadoop 分布式文件系统(HDFS)中的文件和目录。为了确保高可用性,需要使用多个 NameNode 节点进行冗余备份,并使用 ZooKeeper 进行故障检测和自动故障切换。 以下是学

    2023年04月26日
    浏览(53)
  • Linux-一篇文章,速通Hadoop集群之伪分布式,完全分布式,高可用搭建(附zookeeper,jdk介绍与安装)。

    文章较长,附目录,此次安装是在VM虚拟环境下进行。文章第一节主要是介绍Hadoop与Hadoop生态圈并了解Hadoop三种集群的区别,第二节和大家一起下载,配置Linux三种集群以及大数据相关所需的jdk,zookeeper,只需安装配置的朋友可以直接跳到文章第二节。同时,希望我的文章能帮

    2024年03月19日
    浏览(53)
  • ZooKeeper 分布式协调服务: 概述及原理, 安装配置, 基本操作

    作者:禅与计算机程序设计艺术 Apache Zookeeper 是 Apache Hadoop 的子项目之一,是一个开源的分布式协调服务。它负责存储和维护关于网络中各个节点的数据。Zookeeper 提供了以下功能:配置维护、域名服务、同步和共享、软/硬件负载均衡、集群管理、Master 选举等。它的架构使得

    2024年02月08日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包