Zookeeper 的安装配置

这篇具有很好参考价值的文章主要介绍了Zookeeper 的安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

此作为记录大三下的十五天企业实训。本文主要包括以下内容:

  1. zk 的简单介绍
  2. zk 集群的安装配置
  3. zk 的启动

整个过程记录详细,每个步骤亲历亲为实测可用。同时,包含多个脚本文件的编写,便捷集群环境的搭建配置。

此外,本文内容是在 JDK和Hadoop的安装配置
的基础上进行的。很多脚本文件都在此文给出了相关的代码和具体的用法。例如:myjps、xsync等。

本文系统的虚拟机版本为:CentOS-7.5-x86_64-DVD-1804.iso,

相关系统工具:VMWareFinalShell

在文章开始前,我们先大致了解一下当前已完善的集群规划:

hadoop101 hadoop102 hadoop103
JDK JDK JDK
Hadoop Hadoop Hadoop

一、Zookeeper 简介

顾名思义 zookeeper 就是动物园管理员,它是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员。Zookeeper 是一个分布式的、开源的程序协调服务,是 hadoop 项目下的一个子项目。他提供的主要功能包括:配置管理名字服务分布式锁集群管理

  1. 配置管理: zk提供一种集中管理配置的方法,我们在这个集中的地方修改了配置,所有对这个配置感兴趣的 都可以获得变更。在开源的消 息队列 Kafka 中,也使用 Zookeeper来维护broker的信息。

  2. 名字服务: 提供统一DNS 文件入口。

  3. 分布式锁:

  4. 集群管理: 在分布式的集群中,经常会由于各种原因,比如硬件故障,软件故障,网络问题,有些 节点会进进出出。有新的节点加入进来,也有老的节点退出集群。这个时候,集群中其他机 器需要感知到这种变化,然后根据这种变化做出对应的决策。开源的 Kafka 队列就 采用了 Zookeeper 作为 Cosnumer 的上下线管理。


二、Zookeeper 的安装配置

  1. 将Zookeeper 压缩包上传到 /opt/module 目录

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

  2. 解压Zookeepertar -axvf apache-zookeeper-3.5.7-bin.tar.gz -C ../module

  3. 修改文件名称: mv apache-zookeeper-3.5.7-bin/ zk

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

  4. 配置Zookeeper环境变量vim /etc/profile

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    刷新配置信息: source /etc/profile

  5. 同步/etc/profile 文件到其他两台虚拟机:hadoop102hadoop103
    xsync /etc/profile /etc/profile

    记得每台虚拟机执行:source /etc/profile

  6. 配置服务器编号。 此为zk 配置集群管理的关键。

    a) 创建zkData目录。

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    b) 在/opt/module/zd/zkData 目录下创建一个myid的文件:

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    在文件中添加与server对应的编号
    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式
    c) 将配置好的zk群发到其他机器上xsync /opt/module/zk /opt/module/zk

    !:同时在hadoop102、hadoop103上修改myid文件中内容为2、3

  7. 配置zoo.cfg文件
    a) 重命名 /opt/module/zk/conf 这个目录下的zoo_sample.cfg为zoo.cfg

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    b) 修改zoo.cfg 文件. vim zoo.cfg

    • 修改数据存储路径配置

      zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    • 增加如下配置后
      zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

    • 同步该配置文件到其他机器
      xsync /opt/module/zk/conf/zoo.cfg /opt/module/zk/conf/zoo.cfg


以上内容即完成了整个ZooKeeper集群的安装和搭建。

三、zk 的启动

  1. 单机启动方式: (由于已经配置了环境变量,故这里在任意目录下都可执行)

    # 启动当前虚拟机的zk 服务
    zkServer.sh start
    
    # 关闭当前虚拟机的zk 服务
    zkServer.sh stop
    

    可通过jps 查看zk 的启动情况:
    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式

  2. 集群启动方式: 一台一台启动zk 实在是太不友好了。这里提供zk 群起的脚本

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式
    脚本内容如下:

    	#!/bin/bash
    	if(($#==0))
    	then
    	        echo "PLEASE USE: {start|stop|status}"
    	        exit;
    	fi
    	case $1 in
    	start)
    	        for i in hadoop101 hadoop102 hadoop103
    	        do
    	                echo "--------->$i<---------"
    	                ssh $i zkServer.sh start
    	        done
    	        echo "zk is Running!"
    	;;
    	
    	stop)
    	        for i in hadoop101 hadoop102 hadoop103
    	        do
    	                echo "--------->$i<---------"
    	                ssh $i zkServer.sh stop
    	        done
    
    

    添加完执行权限后(chmod +x ./zk),我们即可轻易的群起三台虚拟机的zk 啦。

    # 群起zk
    zk start
    
    # 查看三台虚拟机的zk  状态,可查看who is leader
    zk status
    
    # 群闭zk
    zk stop
    

    启动后,通过 myjps 查看:

    zookeeper安装和配置,15天企业实训,学习总结,zookeeper,大数据,分布式


以上就为本篇文章的全部内容啦!

如果本篇内容对您有帮助的话,请多多点赞支持一下呗!文章来源地址https://www.toymoban.com/news/detail-762712.html

到了这里,关于Zookeeper 的安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK安装、部署、调试(三)zookeeper安装,配置

    java安装,系统自带即可 zookeeper.apache.org上可以下载 tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local  mv apache-zookeeper-3.7.1-bin zookeeper  mv zoo_sample.cfg zoo.cfg /usr/local/zookeeper/conf/zoo.cfgvi zoo.cfg 除了配置zoo.cfg文件外,zookeeper的集群还需要配置一个文件myid,需要手动创建,放到dataDir的目

    2024年02月10日
    浏览(38)
  • zookeeper学习(二) 集群模式安装

    三台centos7服务器 三台服务器都需要安装jdk1.8以上 zookeeper安装包 在单机模式已经描述过,这里略过,有需要可以去看单机模式中的这部分,注意的是三台服务器都需要安装 当前在192.168.2.201上操作 解压zookeeper安装包 在安装目录下新建zkData目录 修改修改conf/zoo.cfg文件 修改zo

    2024年02月16日
    浏览(37)
  • zookeeper安装配置报错 INFO [main:ZKAuditProvider@42] - ZooKeeper audit is disabled.

    E:apache-zookeeper-3.7.1-binbin…confzoo.cfg 看到 confzoo.cfg 配置文件没有找到。 将conf目录下的zoo_sample.cfg复制一份,改名为zoo.cfg即可

    2024年02月09日
    浏览(40)
  • CentOS7 下 Zookeeper 安装及配置

    官方地址:https://www.apache.org/dyn/closer.lua/zookeeper ZooKeeper 是一个开源的分布式协调服务,它提供了一个高性能的、可靠的分布式环境,用于协调和管理分布式应用程序的配置、状态和元数据信息。 ZooKeeper 旨在解决分布式系统中的一致性和协调问题。它提供了一个简单的文件系

    2024年02月02日
    浏览(45)
  • 【Kafka】Zookeeper和Kafka集群的安装和配置

    一、集群环境说明 1. 虚拟机:192.168.223.101/103/105 2. 系统版本:CentOS 7.9 3. JDK版本:11.0.18.0.1 4. Zookeeper版本:3.7.1 5. Kafka版本:2.13-2.8.2 备注:无论是ZK,还是Kafka的安装,都需要用到JDK,上面给出的ZK和Kafka版本,都已经支持JDK11(JDK 11 Supported)。这三者之间的兼容关系,感兴趣

    2024年02月12日
    浏览(55)
  • ZooKeeper 分布式协调服务: 概述及原理, 安装配置, 基本操作

    作者:禅与计算机程序设计艺术 Apache Zookeeper 是 Apache Hadoop 的子项目之一,是一个开源的分布式协调服务。它负责存储和维护关于网络中各个节点的数据。Zookeeper 提供了以下功能:配置维护、域名服务、同步和共享、软/硬件负载均衡、集群管理、Master 选举等。它的架构使得

    2024年02月08日
    浏览(39)
  • zookeeper的安装与配置和启动闪退问题的解决(win)

    官网下载地址:https://zookeeper.apache.org/releases.html#download 解压,进入conf目录下,将zoo_example.cfg重命名为zoo.cfg,如图所示 新建俩文件夹,分别命名为data和log,打开zoo.cfg文件,找到dataDir,修改数据存放路径dataDir(可以自定义) 然后保存关闭. 在zoo.cfg文件中,还可以修改默认的z

    2024年02月04日
    浏览(47)
  • centos7安装zookeeper的环境变量配置导致用户登录不了系统

    废话不多说,我修改的/etc/profile,如果这个文件改错会造成所有用户都登录不了系统。 第一步:解决进不了系统 1.在登陆界面按:alt +ctrl+f2进入命令模式,输入密码登录后再输入: /usr/bin/sudo /usr/bin/vi /etc/profile 注意空格; 2.修改或者删掉被你改动的部分,保存,退出,重启就

    2024年02月12日
    浏览(52)
  • centos7-docker安装与配置kafka+zookeeper+kafkamanager

    一、 默认 docker 环境已经 OK 拉镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka docker pull sheepkiller/kafka-manager 删镜像 docker rmi + 镜像 id 查看镜像 [root@build-science-system-services-03 ~]# docker images 二、运行相关容器 启动 zookeeper : docker run -d --name zookeeper -p 2191:2181 --restart=always

    2024年02月09日
    浏览(54)
  • 在Windows上搭建Kafka环境的步骤,包括安装Java、下载Kafka、配置Zookeeper和Kafka、启动Zookeeper和Kafka、创建主题和生产者/消费者等

    1. 安装Java Kafka需要Java环境支持。可以从Oracle官网下载JDK,或者使用OpenJDK。 2. 下载Kafka 可以从Kafka官网下载Kafka二进制压缩包。解压后可以看到bin、config、libs等目录。 3. 配置Zookeeper Kafka依赖Zookeeper实现分布式协作。可以使用Kafka自带的Zookeeper,也可以独立安装Zookeeper。 如果使

    2024年02月11日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包