提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
此作为记录大三下的十五天企业实训。本文主要包括以下内容:
- zk 的简单介绍
- zk 集群的安装配置
- zk 的启动
整个过程记录详细,每个步骤亲历亲为,实测可用。同时,包含多个脚本文件的编写,便捷集群环境的搭建配置。
此外,本文内容是在 JDK和Hadoop的安装配置
的基础上进行的。很多脚本文件都在此文给出了相关的代码和具体的用法。例如:myjps、xsync等。
本文系统的虚拟机版本为:CentOS-7.5-x86_64-DVD-1804.iso
,
相关系统工具:VMWare
和 FinalShell
在文章开始前,我们先大致了解一下当前已完善的集群规划:
hadoop101 | hadoop102 | hadoop103 |
---|---|---|
JDK | JDK | JDK |
Hadoop | Hadoop | Hadoop |
一、Zookeeper 简介
顾名思义 zookeeper 就是动物园管理员,它是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员。Zookeeper 是一个分布式的、开源的程序协调服务,是 hadoop 项目下的一个子项目。他提供的主要功能包括:配置管理、名字服务、分布式锁、集群管理。
-
配置管理: zk提供一种集中管理配置的方法,我们在这个集中的地方修改了配置,所有对这个配置感兴趣的 都可以获得变更。在开源的消 息队列 Kafka 中,也使用 Zookeeper来维护broker的信息。
-
名字服务: 提供统一DNS 文件入口。
-
分布式锁:…
-
集群管理: 在分布式的集群中,经常会由于各种原因,比如硬件故障,软件故障,网络问题,有些 节点会进进出出。有新的节点加入进来,也有老的节点退出集群。这个时候,集群中其他机 器需要感知到这种变化,然后根据这种变化做出对应的决策。开源的 Kafka 队列就 采用了 Zookeeper 作为 Cosnumer 的上下线管理。
二、Zookeeper 的安装配置
-
将Zookeeper 压缩包上传到
/opt/module
目录。 -
解压Zookeeper:
tar -axvf apache-zookeeper-3.5.7-bin.tar.gz -C ../module
-
修改文件名称:
mv apache-zookeeper-3.5.7-bin/ zk
-
配置Zookeeper环境变量 :
vim /etc/profile
刷新配置信息:
source /etc/profile
-
同步/etc/profile 文件到其他两台虚拟机:
hadoop102
和hadoop103
xsync /etc/profile /etc/profile
! 记得每台虚拟机执行:
source /etc/profile
-
配置服务器编号。 此为zk 配置集群管理的关键。
a) 创建zkData目录。
b) 在
/opt/module/zd/zkData
目录下创建一个myid的文件:在文件中添加与server对应的编号。
c) 将配置好的zk群发到其他机器上。xsync /opt/module/zk /opt/module/zk
!:同时在hadoop102、hadoop103上修改myid文件中内容为2、3
-
配置zoo.cfg文件
a) 重命名 /opt/module/zk/conf 这个目录下的zoo_sample.cfg为zoo.cfgb) 修改zoo.cfg 文件.
vim zoo.cfg
-
修改数据存储路径配置
-
增加如下配置后
-
同步该配置文件到其他机器
xsync /opt/module/zk/conf/zoo.cfg /opt/module/zk/conf/zoo.cfg
-
以上内容即完成了整个ZooKeeper集群的安装和搭建。
三、zk 的启动
-
单机启动方式: (由于已经配置了环境变量,故这里在任意目录下都可执行)
# 启动当前虚拟机的zk 服务 zkServer.sh start # 关闭当前虚拟机的zk 服务 zkServer.sh stop
可通过jps 查看zk 的启动情况:
-
集群启动方式: 一台一台启动zk 实在是太不友好了。这里提供zk 群起的脚本。
脚本内容如下:#!/bin/bash if(($#==0)) then echo "PLEASE USE: {start|stop|status}" exit; fi case $1 in start) for i in hadoop101 hadoop102 hadoop103 do echo "--------->$i<---------" ssh $i zkServer.sh start done echo "zk is Running!" ;; stop) for i in hadoop101 hadoop102 hadoop103 do echo "--------->$i<---------" ssh $i zkServer.sh stop done
添加完执行权限后(chmod +x ./zk),我们即可轻易的群起三台虚拟机的zk 啦。
# 群起zk zk start # 查看三台虚拟机的zk 状态,可查看who is leader zk status # 群闭zk zk stop
启动后,通过 myjps 查看:
以上就为本篇文章的全部内容啦!文章来源:https://www.toymoban.com/news/detail-762712.html
如果本篇内容对您有帮助的话,请多多点赞支持一下呗!
文章来源地址https://www.toymoban.com/news/detail-762712.html
到了这里,关于Zookeeper 的安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!