Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六)

这篇具有很好参考价值的文章主要介绍了Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.Centos 虚拟机配置

阿里云镜像站

VmWare 安装 Centos 7

1.新建虚拟机,选择【典型】

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

2.下一步,【稍后安装操作系统】

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

3.下一步,选择【Linux】【Centos7 64位】

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

4.下一步,设置虚拟机名称和安装目录

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

5.下一步,默认

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

6.下一步,【自定义硬件配置】选择下载的镜像

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java
Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

7.完成,启动虚拟机

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

自动分区

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java
Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

开始安装

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

设置用户名密码

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

重启系统

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

8.登录并绑定网卡设置地址

## 修改网卡配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
## 增加以下配置
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
ONBOOT=yes
## 删除 dhcp : BOOTPROTO=dhcp 并重启系统

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

二.Zookeeper 配置

1.Zookeeper 下载

Apache Zookeeper 下载

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

2.单机配置

## 1.解压缩 zookeeper
tar zxvf apache-zookeeper-3.8.2-bin.tar.gz
## 2.移动位置
mv apache-zookeeper-3.8.2-bin /usr/local/zookeeper
## 3.解压缩 jdk
tar zxvf jdk-11.0.19_linux-x64_bin.tar.gz
## 4.移动位置
mv jdk-11.0.19 /usr/local/java
## 5.配置环境变量
echo 'export JAVA_HOME=/usr/local/java' >> /etc/profile
echo 'export ZOOKEEPER_HOME=/usr/local/zookeeper' >> /etc/profile
echo 'export PATH=${JAVA_HOME}/bin:${ZOOKEEPER_HOME}/bin:${PATH}' >> /etc/profile
## 6.刷新环境变量
source /etc/profile
## 7.复制配置
cp $ZOOKEEPER_HOME/conf/zoo_sample.cfg $ZOOKEEPER_HOME/conf/zoo.cfg
## 8.单机启动
zkServer.sh start

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

## 1.停止服务
zkServer.sh stop

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

3.集群配置

地址分配如下:

节点 地址 Host
192.168.1.100 zk1
192.168.1.101 zk2
192.168.1.102 zk3

zoo.cfg 配置说明

配置项 默认值 含义
tickTime 2000 通信心跳
initLimit 10 Leader 和 Follower 初始化容忍最多心跳书
syncLimit 5 Leader 和 Follower 同步超时时间,超过此心跳数则剔除 Follower
dataDir /tmp/zookeeper 数据目录
clientPort 2181 客户端端口
server.A=B:C:D A 服务器序号
B 本机地址
C Leader 和 Follower 通信端口
D 选举通信端口
## 分别设置集群内虚拟机域名(查看域名:hostname)
hostnamectl set-hostname zk1
hostnamectl set-hostname zk2
hostnamectl set-hostname zk3
## 分别设置集群内虚拟机域名解析
echo '192.168.1.100 zk1' >> /etc/hosts
echo '192.168.1.101 zk2' >> /etc/hosts
echo '192.168.1.102 zk3' >> /etc/hosts
## 创建数据目录并修改 zoo.cfe 配置的 dataDir 为新创建目录
mkdir -p $ZOOKEEPER_HOME/data
## 创建文件 myid 用于标识服务器序号
touch $ZOOKEEPER_HOME/data/myid
## 修改 zoo.cfg 配置,增加集群配置
echo 'server.1=zk1:3188:3288' >> $ZOOKEEPER_HOME/conf/zoo.cfg
echo 'server.2=zk2:3188:3288' >> $ZOOKEEPER_HOME/conf/zoo.cfg
echo 'server.3=zk3:3188:3288' >> $ZOOKEEPER_HOME/conf/zoo.cfg
## 分发当前配置和文件到 zk2 zk3
scp -r /usr/local/zookeeper root@zk2:/usr/local/
scp -r /usr/local/zookeeper root@zk3:/usr/local/
scp -r /usr/local/java root@zk2:/usr/local/
scp -r /usr/local/java root@zk3:/usr/local/
scp /etc/profile root@zk2:/etc/profile
scp /etc/profile root@zk3:/etc/profile
## 刷新 zk2 zk3 环境变量并分别设置服务 ID
source /etc/profile
echo 1 >> $ZOOKEEPER_HOME/data/myid
echo 2 >> $ZOOKEEPER_HOME/data/myid
echo 3 >> $ZOOKEEPER_HOME/data/myid

配置免密登录

## 修改 192.168.1.100 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@zk2
ssh-copy-id -i ~/.ssh/id_rsa root@zk3
## 修改 192.168.1.101 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@zk1
ssh-copy-id -i ~/.ssh/id_rsa root@zk3
## 修改 192.168.1.102 服务器
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa root@zk1
ssh-copy-id -i ~/.ssh/id_rsa root@zk2
## 分别配置本地登录
ssh-copy-id -i ~/.ssh/id_rsa root@localhost
## 1.关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
## 2.分别启动集群内 zookeeper 服务
zkServer.sh start && ssh root@zk2 "source /etc/profile && zkServer.sh start && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh start && exit"
## 3.查看状态
zkServer.sh status
## 4.关闭
zkServer.sh stop && ssh root@zk2 "source /etc/profile && zkServer.sh stop && exit" && ssh root@zk3 "source /etc/profile && zkServer.sh stop && exit"

ZK1

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

ZK2

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

ZK3

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java

停止

Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六),Hadoop,hadoop,centos,zookeeper,集群,java文章来源地址https://www.toymoban.com/news/detail-605366.html

到了这里,关于Hadoop 之 Centos 7 搭建 Zookeeper 3.8.2 集群(六)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CentOS7搭建hadoop集群

    说明:         1.准备三台虚拟机,参考:CentOS7集群环境搭建(以3台为例)         2.配置虚拟机间免密登陆:参考:CentOS7集群配置免密登录         3.虚拟机分别安装jdk:参考:CentOS7集群安装JDK1.8         4.hadoop安装包下载,下载地址 准备开始搭建hadoop集群,以下操作在第

    2024年02月09日
    浏览(56)
  • 云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker |OpenStack]更新索引 |动态更新

    为了能够更好的查看所更新的文章,讲该博文设为索引 为了解决在编辑文件等操作的过程中的权限问题,博主一律 默认采用 root 账户登录 对于初次安装的用户可以采用如下命令行: 另外推荐一款终端工具:Tabby,既能够连接自己的服务器,也能够连接自己本地的虚拟机,还

    2023年04月13日
    浏览(56)
  • CentOS 搭建 Hadoop3 高可用集群

    spark101 spark102 spark103 192.168.171.101 192.168.171.102 192.168.171.103 namenode namenode journalnode journalnode journalnode datanode datanode datanode nodemanager nodemanager nodemanager recource manager recource manager job history job log job log job log 1.1 升级操作系统和软件 升级后建议重启 1.2 安装常用软件 1.3 修改主机名 1

    2024年02月06日
    浏览(49)
  • 大数据平台搭建——hadoop集群(基于CentOS-7)的搭建

    目录 总序 一、下载相关软件的压缩包 二、配置虚拟机上主节点相关设置 1、修改主机用户名 2、进行ip地址映射 3、配置虚拟机网络设置   三、解压并配置java、hadoop环境 1、解压jdk、hadoop压缩文件  2、配置jdk、hadoop环境 3、修改hadoop中的相关配置文件信息(最重要) 四、克隆

    2024年02月06日
    浏览(47)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(40)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(100)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    虚拟机相关: VMware workstation 16:虚拟机 vmware_177981.zip CentOS Stream 9:虚拟机 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相关 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 辅助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相关资源可以

    2024年04月14日
    浏览(51)
  • Centos7原生hadoop环境,搭建Impala集群和负载均衡配置

    Impala集群包含一个Catalog Server (Catalogd)、一个Statestore Server (Statestored) 和若干个Impala Daemon (Impalad)。Catalogd主要负责元数据的获取和DDL的执行,Statestored主要负责消息/元数据的广播,Impalad主要负责查询的接收和执行。 Impalad又可配置为coordinator only、 executor only 或coordinator and exe

    2024年02月04日
    浏览(56)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(53)
  • 三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)

    这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。 1.1安装完虚拟机发现没有sudo命令和hadoop用户执行命令失败 我在安装CentOS 7.6虚拟机后,我发现不能执行sudo命令,同时hadoop用户执行命令失败。

    2024年02月03日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包