ZooKeeper集群环境搭建

这篇具有很好参考价值的文章主要介绍了ZooKeeper集群环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@
本文章收录于专栏(点击传送):【大数据学习】

💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

1.ZooKeeper集群环境介绍

ZooKeeper集群由多个服务器节点组成,其中包括一个Leader节点和多个Follower节点。Leader节点负责处理所有客户端请求,并将数据同步到Follower节点。当Leader节点出现故障时,Follower节点会通过选举机制选举出新的Leader节点。

ZooKeeper集群的主要特点包括:

  • 高性能:ZooKeeper采用基于内存的数据结构和高效的通信协议,具有很高的性能和低延迟。

  • 可靠性:ZooKeeper通过数据复制和选举机制来实现容错能力,即使部分节点出现故障,集群仍然可用。

  • 顺序一致性:ZooKeeper保证了客户端对数据的读写操作是按照其发送顺序被执行的。

  • 数据持久化:ZooKeeper可以将数据持久化到磁盘,即使集群重启也能恢复数据。
    ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

2.搭建环境准备

本次用到的环境有:
JDK1.8.0_144
Zookeeper3.4.6
Oracle Linux 7.4

3.搭建步骤

1.解压Zookeeper压缩文件至/opt目录。

tar -zxvf experiment/file/zookeeper-3.4.6.tar.gz -C /opt

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

2.修改解压后文件夹的名字为zookeeper。

mv /opt/zookeeper-3.4.6 /opt/zookeeper
ll /opt/

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

3.复制Zookeeper配置文件zoo_sample.cfg名为/zoo.cfg

cp -r /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

4.编辑文件zoo.cfg

vim /opt/zookeeper/conf/zoo.cfg

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

5.按键:set nu回车设置行号,部分截图如下
ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

6.按键12gg,光标定位到12行,部分截图如下
ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

7.按键 i ,更改代码如下:

dataDir=/root/zookeeper/zkdata
dataLogDir=/root/zookeeper/zkdatalog
server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=master:2888:3888

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

8.按键Esc,按键”:wq!”保存退出。
9.建立Zookeeper数据文件夹zkdata和日志文件夹zkdatalog。

mkdir -p /root/zookeeper/zkdata
mkdir -p /root/zookeeper/zkdatalog

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

10.赋予文件夹zkdata和zkdatalog可读写权限。

chmod 700 /root/zookeeper/zkdata
chmod 700 /root/zookeeper/zkdatalog

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

11.查看文件夹zkdata和zkdatalog可读写权限。

ll /root/zookeeper

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

12.编辑.bashrc文件,配置Zookeeper环境变量。

vim ~/.bashrc

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

13.按键Shift+g键定位到最后一行,按键 i 切换到输入模式下,添加如下代码

export ZOOKEEPER_HOME=/opt/zookeeper
PATH=$PATH:$ZOOKEEPER_HOME/bin

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

14.按键Esc,按键”:wq!”保存退出。
15.刷新配置文件,使新加Zookeeper环境变量生效。

source ~/.bashrc

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

16.拷贝master主机“.bashrc”文件到slave1、slave2从机“~”下。

scp ~/.bashrc slave1:~/
scp ~/.bashrc slave2:~/

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

17.拷贝“/root/zookeeper”目录下zkdata和zkdatalog文件夹到slave1、slave2从机对应位置。

scp -r /root/zookeeper slave1:/root/
scp -r /root/zookeeper slave2:/root/

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据
ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

18.拷贝配置好的zookeeper文件夹到slave1、slave2从机“/opt”下。

scp -r /opt/zookeeper slave1:/opt
scp -r /opt/zookeeper slave2:/opt

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据
ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

19.在当前主节点master机上,将字符串“3”写入文件myid。

echo "3" > /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

cat /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

20.切换至“从节点1”机器,双击桌面“Xfce终端”图标打开命令窗口,将“1”写入myid文件。

echo "1" > /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

cat /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

21.在slave1机上,刷新配置文件,使新加Zookeeper环境变量生效。

source ~/.bashrc

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

22.切换至“从节点2”机器,双击桌面“Xfce终端”图标打开命令窗口,将“2”写入myid文件。

echo "2" > /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

cat /root/zookeeper/zkdata/myid

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

23.在slave2机上,刷新配置文件,使新加Zookeeper环境变量生效。

source ~/.bashrc

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

24.切换至“主节点”,双击桌面“Xfce终端”图标打开命令窗口,启动Zookeeper。

zkServer.sh start

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

25.切换至“从节点1”,双击桌面“Xfce终端”图标打开命令窗口,启动Zookeeper。

zkServer.sh start

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

26.切换至“从节点2”,双击桌面“Xfce终端”图标打开命令窗口,启动Zookeeper。

zkServer.sh start

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

27.切换至“主节点”,通过命令窗口,查看Zookeeper状态和守护进程。

zkServer.sh status
jps

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

28.切换至“从节点1”,通过命令窗口,查看Zookeeper状态和守护进程。

zkServer.sh status
jps

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

29.切换至“从节点2”,通过命令窗口,查看Zookeeper状态和守护进程。

zkServer.sh status
jps

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

30.切换至“主节点”,双击桌面“Xfce终端”图标打开命令窗口,停止Zookeeper。

zkServer.sh stop

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

31.切换至“从节点1”,双击桌面“Xfce终端”图标打开命令窗口,停止Zookeeper。

zkServer.sh stop

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

32.切换至“从节点2”,双击桌面“Xfce终端”图标打开命令窗口,停止Zookeeper。

zkServer.sh stop

ZooKeeper集群环境搭建,大数据技术学习,zookeeper,分布式,linux,运维,大数据

所有配置完成,如果本篇文章对你有帮助,记得点赞关注+收藏哦~文章来源地址https://www.toymoban.com/news/detail-694375.html

到了这里,关于ZooKeeper集群环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 在配置Zookeeper之前,建议先配置Hadoop集群,具体的操作流程博主已更新完成,链接 Zookeeper的安装包版本不太相同,大致分为有编译过的和没有编译过的(如有错请留言指正 一般情况下对于我们在解压配置就能使用的情况下,我

    2024年02月01日
    浏览(67)
  • Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群

    目录 1 Zookeeper 1.1 Zookeeper 定义 1.2 Zookeeper 工作机制 1.3 Zookeeper 特点 1.4 Zookeeper 数据结构 1.5 Zookeeper 应用场景 1.6 Zookeeper 选举机制 2 部署 Zookeeper 集群 2.1 安装前准备 2.2 安装 Zookeeper 3 Kafka 3.1 为什么需要消息队列(MQ) 3.2 使用消息队列的好处 3.3 消息队列的两种模式 3.4 Kafka 定义

    2024年02月08日
    浏览(44)
  • 【ZooKeeper高手实战】ZooKeeper 集群读写性能及生产环境参数配置

    🌈🌈🌈🌈🌈🌈🌈🌈 欢迎关注公众号(通过文章导读关注:【11来了】),及时收到 AI 前沿项目工具及新技术 的推送 发送 资料 可领取 深入理解 Redis 系列文章结合电商场景讲解 Redis 使用场景 、 中间件系列笔记 和 编程高频电子书 ! 文章导读地址:点击查看文章导读!

    2024年02月21日
    浏览(44)
  • zookeeper的介绍和用docker搭建zookeeper集群,以及Go语言使用zookeeper

    typora-copy-images-to: imgs 2.1、Docker官方镜像 Docker Zookeeper 2.2、Docker安装zookeeper 下载zookeeper最新版的镜像 docker inspect zookeeper用来查看zookeeper的详细信息 在/root/docker/目录下新建一个zookeeper挂载点文件夹 挂载本地文件夹并启动服务 参数解释 2.3、进入zookeeper容器客户端 方式一 运行上

    2024年02月10日
    浏览(39)
  • 【Docker】搭建Zookeeper集群

    启动容器 通过如下命令启动容器: 上述命令在后台运行一个名为 zookeeper-standalone 的容器。由于 Zookeeper 是’快速失败’,因此最好通过 --retart参数设置容器在意外停止时自动重启。默认是 no,表示不重启。-p 参数将宿主机端口 8080 与容器端口 8080 映射。 通过如下命令查看运

    2024年02月04日
    浏览(36)
  • zookeeper集群搭建

    准备三台机器,在三台机器的hosts上加入三台机器的host地址别名,让三台机器能互相ping通。 192.168.150.146、192.168.150.147和192.168.150.148是三台机器的ip地址 修改三台机器的hostname,根据上面的配置 192.168.150.146上运行hostname node1 192.168.150.147上运行hostname node2 192.168.150.148上运行host

    2023年04月23日
    浏览(39)
  • Zookeeper 集群搭建

    Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目 Zookeeper 工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架 一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应

    2024年02月06日
    浏览(35)
  • kafka---- zookeeper集群搭建

    Hostname Ip Root Prac-zk-133 172.16.144.133 root Prac-zk-134 172.16.144.134 root Prac-zk-135 172.16.144.135 root 172.16.144.133 Prac-zk-133 172.16.144.134 Prac-zk-134 172.16.144.135 Prac-zk-135 zkServer.sh start-foreground 使用它启动会出现地址已在使用 Zookeeper启动失败(java.net.BindException: 地址已在使用 端口被占用了,把218

    2024年02月11日
    浏览(38)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(100)
  • kafka 集群 ZooKeeper 模式搭建

    Apache Kafka是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序 Kafka 官网:Apache Kafka 关于ZooKeeper的弃用 根据 Kafka官网信息,随着Apache Kafka 3.5版本的发布,Zookeeper现已被标记为已弃用。未来计划在Apache Kafka(4.0版)的下一

    2024年02月05日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包