Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

这篇具有很好参考价值的文章主要介绍了Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

写在前面

本系列文章索引以及一些默认好的条件在 传送门

在配置Zookeeper之前,建议先配置Hadoop集群,具体的操作流程博主已更新完成,链接

step1 Zookeeper安装包的下载

Zookeeper的安装包版本不太相同,大致分为有编译过的和没有编译过的(如有错请留言指正
一般情况下对于我们在解压配置就能使用的情况下,我们可以下载编译之后的版本,比如在官网上:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
下面代表着源代码,我们应该选择不在红框之内的
Zookeeper仓库
本文以3.5.9为例,应该下载上方连接中的:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
这个版本的解压后和其他未编译过的有个显著的不同:在解压后有一个lib文件夹,通常里面保存着应该会用到的文件等
下载速度较快,不再网盘分享

step2 关闭防火墙

如果防火墙处于打开的状态,会影响到虚拟机之间的互相访问,以及从主机通过web浏览器查看各个服务器节点的状态
命令:

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

step3 解压配置Zookeeper

1 解压并创建修改/conf/zoo.cfg文件

将下载好的文件放到master节点的/usr/local/之下
然后解压文件,命令:

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

解压之后,将文件夹的名字去掉版本号:
mv apache-zookeeper zookeeper

然后跳转到./zookeeper/conf下,将官方给的zoo.cfg示例文件改名:

cp zoo_sample.cfg zoo.cfg

然后编辑zoo.cfg
大致改为:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
切勿盲目CV,记得修改为自己的主机名

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper/data/
# the port at which the clients will connect
clientPort=2181
# master
server.1=0.0.0.0:2881:3881
server.2=slave01-315:2881:3881
server.3=slave02-315:2881:3881

2 创建并修改/data/myid

在zookeeper根目录下,我们再创建一个data文件夹
mkdir -p /usr/local/zookeeper/data
然后创建并编辑myid文件

cd /usr/local/zookeeper/data
touch myid
vim myid

在master节点的myid中,写入一个数字1
注意不得加任何空格,任何注释,必须单纯一行一列一个字符’1’

step4 配置文件传送到其他节点

我们需要将从master的文件放到slave1,slave2上

scp -r /usr/local/zookeeper slave1:/usr/local
scp -r /usr/local/zookeeper slave2:/usr/local

在slave1上,我们需要把/data/myid中的内容改为2
在slave2上,我们需要把/data/myid中的内容改为3
注意不得加任何空格,任何注释,必须单纯一行一列一个字符’1’
在slave1上,我们需要把/conf/zoo.cfg改成:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
切勿盲目CV,记得修改为自己的主机名

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper/data/
# the port at which the clients will connect
clientPort=2181

server.1=master315:2881:3881
server.2=0.0.0.0:2881:3881
server.3=slave02-315:2881:3881

在slave2下,我们需要将/conf/zoo.cfg文件修改为:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
切勿盲目CV,记得修改为自己的主机名

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper/data/
# the port at which the clients will connect
clientPort=2181

server.1=master315:2881:3881
server.2=slave01-315:2881:3881
server.3=0.0.0.0:2881:3881

如果是小白从头开始配的话,应该不会出现2181端口被占用的情况,如果说自己的2181端口被占用,可以kill -9该进程
查看进程是否被占用:
netstat -nltp | grep 2181
若显示空白则恭喜你不需要进行任何操作
若显示除了某进程占用该端口,应该kill -9 进程号

step5 设置环境变量

我们修改~/.bashrc文件

vim ~/.bashrc
加入:
export PATH=$PATH:/usr/local/zookeeper/bin
然后:
source ~/.bashrc

现在应该使得该文件生效了

step6 启动zookeeper

zkServer.sh start
这时,我们查看zookeeper/data/下的所有文件:

cd /usr/local/zookeeper/data
ls -laF

发现除了myid还会有另外的若干文件(version-2文件夹&&zookeeper_server.pid),这是请注意:
如果不是通过命令使得zookeeper自动关闭的,在下次启动前均需删除该目录下除了myid的所有文件
在三个节点均启动zookeeper集群
启动命令是:zkServer.sh start
重启命令是:zkServer.sh restart
关闭命令是:zkServer.sh stop
查看状态命令是:zkServer.sh status

注意,在我们依次启动节点的zookeeper的过程中,可能会遇到首先启动的节点的日志文件中出现拒绝连接的情况,这时请忽略,原因是:
后续节点未启动,所以会导致和其他未开启的节点通信失败导致拒绝连接,我们应当查看最后启动zookeeper的结点的日志文件(/usr/local/zookeeper/logs/),

step7 启动成功及状态查看

在我们成功启动集群之后,应该会看到:
master
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

slave1:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

slave2:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

出现started则证明启动成功,我们查看状态:

master:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
slave1:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

slave2:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

在此,发现master为leader,其余两个节点为follower
这里的leader由zookeeper内部选举产生,谁是leader均有可能,不必太在意

step8 验证zookeeper安装

在每个节点均输入:jps来查看相关进程
master:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
slave1:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
slave2:
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
到这里进本就证明安装没大问题了
但是为了严谨一点,我们测试下功能

step9 zookeeper功能测试

我们进入zookeeper的命令行工具:
红框是命令zkCli.sh -server master315:2181
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
在箭头所示区域输入:
create /hello world

get /hello
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
可以发现莫得问题,然后就可以退出了
输入:
quit
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

到此,Zookeeper安装结束
如有问题可以 留言 or 私信 or q_2649432030
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建文章来源地址https://www.toymoban.com/news/detail-428662.html

到了这里,关于Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker |OpenStack]更新索引 |动态更新

    为了能够更好的查看所更新的文章,讲该博文设为索引 为了解决在编辑文件等操作的过程中的权限问题,博主一律 默认采用 root 账户登录 对于初次安装的用户可以采用如下命令行: 另外推荐一款终端工具:Tabby,既能够连接自己的服务器,也能够连接自己本地的虚拟机,还

    2023年04月13日
    浏览(55)
  • CentOS7环境ZooKeeper集群的安装

    目录 前提条件 步骤 ZooKeeper集群规划 下载解压 配置环境变量 配置服务器编号 配置zoo.cfg 分别启动zk服务 查看zk状态 进入zk客户端命令行测试 zk集群启动停止脚本 拥有3台CentOS7机器,并且都安装好jdk8 ZooKeeper集群规划 node2 node3 node4 zk zk zk 下载解压 下载 apache-zookeeper-3.5.7-bin.ta

    2024年02月04日
    浏览(47)
  • CentOS7安装Zookeeper分布式集群

    前言 ZooKeeper 是一个开源的分布式协调服务框架,主要用于分布式系统中的数据同步、配置管理、集群控制和命名服务等方面的处理。本文在3个系统为CentOS7的Linux节点上配置了Zookeeper分布式集群,安装配置的过程均在普通用户 sxZhang 的账户上完成,安装路径为 ~/bigdata ,3个

    2024年01月17日
    浏览(55)
  • centos 搭建 zookeeper 高可用集群

    主机名 IP地址 spark01 192.168.171.101 spark02 192.168.171.102 spark03 192.168.171.103 1. 升级内核和软件 2. 安装常用软件 3. 关闭防火墙 4. 修改主机名 5. 修改IP地址 参考如下: 6. 修改hosts配置文件 修改内容如下: 7. 重启系统 8. 下载安装JDK和Zookeeper并配置环境变量 在所有主机节点创建软件目

    2024年02月05日
    浏览(50)
  • CentOS7搭建hadoop集群

    说明:         1.准备三台虚拟机,参考:CentOS7集群环境搭建(以3台为例)         2.配置虚拟机间免密登陆:参考:CentOS7集群配置免密登录         3.虚拟机分别安装jdk:参考:CentOS7集群安装JDK1.8         4.hadoop安装包下载,下载地址 准备开始搭建hadoop集群,以下操作在第

    2024年02月09日
    浏览(55)
  • Centos7搭建Apache Storm 集群运行环境

    Storm 运行在 Java 平台上,因此需要先安装 Java。你可以使用以下命令安装 OpenJDK 8: 你可以从 Storm 的官方网站下载 Storm。在本教程中,我们将使用 Storm 2.2.0 版本。你可以使用以下命令下载 Storm: 下载完成后,你可以使用以下命令解压 Storm: 解压完成后,你可以将 Storm 移动到

    2024年02月14日
    浏览(67)
  • Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六)

    阿里云镜像站 VmWare 安装 Centos 7 自动分区 开始安装 设置用户名密码 重启系统 Apache Zookeeper 下载 地址分配如下: 节点 地址 Host 主 192.168.1.100 zk1 从 192.168.1.101 zk2 从 192.168.1.102 zk3 zoo.cfg 配置说明 配置项 默认值 含义 tickTime 2000 通信心跳 initLimit 10 Leader 和 Follower 初始化容忍最多

    2024年02月15日
    浏览(51)
  • spark 基于物理机centos7环境搭建分布式集群

    非生产环境,就使用一个新一点的版本,提前先踩踩坑,版本的选型真是一个头疼的问题,先看一下apache的官网的测试图: 伪分布式看这里: 配置之前:若是用伪分布式时,在本机必须生成key-gen 与ssh-copy-id到本机,且hosts中必须加入127.0.0.1  本机名并关闭防火墙这几步才可

    2024年02月03日
    浏览(70)
  • Centos7原生hadoop环境,搭建Impala集群和负载均衡配置

    Impala集群包含一个Catalog Server (Catalogd)、一个Statestore Server (Statestored) 和若干个Impala Daemon (Impalad)。Catalogd主要负责元数据的获取和DDL的执行,Statestored主要负责消息/元数据的广播,Impalad主要负责查询的接收和执行。 Impalad又可配置为coordinator only、 executor only 或coordinator and exe

    2024年02月04日
    浏览(56)
  • 三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)

    这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。 1.1安装完虚拟机发现没有sudo命令和hadoop用户执行命令失败 我在安装CentOS 7.6虚拟机后,我发现不能执行sudo命令,同时hadoop用户执行命令失败。

    2024年02月03日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包