1. Toy模板网首页
  2. > Toy博客

Centos7 + Hadoop 3.3.4 HA高可用集群部署

9月前 作者：snipercai 分类：Toy博客 阅读(36) 违法举报

这篇具有很好参考价值的文章主要介绍了Centos7 + Hadoop 3.3.4 HA高可用集群部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

一、集群规划

二、主机环境准备

1、配置主机名

2、配置HOSTS

3、配置内核参数

 4、配置Limits

 5、关闭防火墙

6、关闭SELINUX

7、修改时区

 8、修改中文支持

三、安装JDK

四、创建Hadoop用户

五、安装Zookeeper

1、下载安装

2、配置zoo.cfg

3、配置myid

4、启动/查看/停止服务

六、安装Hadoop

1、下载安装

2、配置hadoop-env.sh

3、配置core-site.xml

4、配置hdfs-site.xml

5、配置yarn-site.xml

6、配置mapred-site.xml

7、配置works

8、初始化ZKFC

9、初始化namenode

10、启动/查看/停止服务

11、Web UI访问

一、集群规划

        本次测试采用3台虚拟机，操作系统版本为centos7.6。

        Hadoop版本为3.3.4，其中Namenode采用HA高可用架构

        Zookeeper版本为3.8.0

IP地址 主机名 ZK HDFS YARN
192.168.121.101 node101.cc.local server.1

NameNode

DataNode

JournalNode

ResourceManager

NodeManager

JobHistory
192.168.121.102 node102.cc.local server.2

NameNode

DataNode

JournalNode

ResourceManager

NodeManager
192.168.121.103 node103.cc.local server.3

DataNode

JournalNode

 NodeManager

二、主机环境准备

1、配置主机名

### 在node1节点均执行操作 ###

hostnamectl set-hostname node101.cc.local

### 在node2节点均执行操作 ###

hostnamectl set-hostname node102.cc.local

### 在node3节点均执行操作 ###

hostnamectl set-hostname node103.cc.local

2、配置HOSTS

### 在每个节点均执行操作 ###

cat << EOF > /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.121.101 node101.cc.local node101
192.168.121.102 node102.cc.local node102
192.168.121.103 node103.cc.local node103
EOF

3、配置内核参数

### 在每个节点均执行操作 ###

### 提示：这一步非必须，可后续调优时进行设置 ###
cat << EOF > /etc/sysctl.conf
net.ipv4.ip_forward=1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 262144
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_sack = 0
net.ipv4.tcp_window_scaling = 0
net.core.rmem_default=4194304
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=1048586
fs.suid_dumpable = 1
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
vm.swappiness = 0
net.ipv4.ip_local_port_range = 9500 61000
net.ipv4.neigh.default.gc_thresh1=1024
net.ipv4.neigh.default.gc_thresh2=2048
net.ipv4.neigh.default.gc_thresh3=4096
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
EOF
sysctl -p

 4、配置Limits

### 在每个节点均执行操作 ###

### 提示：这一步非必须，可后续调优时进行设置 ###

echo "####Limits Parameter Configuration####"
cat << EOF > /etc/security/limits.conf
* soft   nofile 655350
* hard   nofile 655350
* soft   nproc  655350
* hard   nproc  655350
EOF
sed -i.bak$DATE '/^*/{s/[0-9]*$/655350/g}' /etc/security/limits.d/20-nproc.conf
sed -i.bak$DATE '/DefaultLimitNOFILE/c DefaultLimitNOFILE=655350' /etc/systemd/system.conf
sed -i.bak$DATE '/DefaultLimitNOFILE/c DefaultLimitNOFILE=655350' /etc/systemd/user.conf
systemctl daemon-reexec
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo "####Limits Parameter Configuration Done####"
echo -e  "\n"

 5、关闭防火墙

### 在每个节点均执行操作 ###
systemctl stop firewalld.service
systemctl disable firewalld.service

6、关闭SELINUX

### 在每个节点均执行操作 ###
sed -i.bak$DATE '/^SELINUX=/c SELINUX=disabled' /etc/selinux/config
setenforce 0

7、修改时区

### 在每个节点均执行操作 ###

timedatectl set-timezone "Asia/Shanghai"

 8、修改中文支持

### 在每个节点均执行操作 ###
cat << EOF > /etc/locale.conf
LANG="en_US.UTF-8"
SUPPORTED="zh_CN.UTF-8:zh_CN:zh:zh_CN.gb18030:en_US.UTF-8:en_US:en"
EOF

三、安装JDK

### 前提：各节点可以访问公网或者已配置好YUM源 ###
### 注意：建议安装openjdk-devel包，非devel没有jps等命令 ###
### 在每个节点均执行操作 ###
### 安装openjdk ###
yum install -y java-1.8.0-openjdk-devel.x86_64

### 配置环境变量 ###
### 注意：由于采用脚本配置环境变量文件，所以对"$"符号前需要增加"\"转义符 ###

cat << EOF > /etc/profile.d/openjdk1_8_0.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=\$CLASSPATH:\$JAVA_HOME/lib/
export PATH=\$PATH:\$JAVA_HOME/bin
EOF

### 生效最新环境变量 ###
source /etc/profile

四、创建Hadoop用户

### 提示：创建hadoop用户用于运行整个hadoop集群相关服务 ###

### 在每个节点均执行操作 ###

echo "####create hadoop user####"
groupadd -g 1024 hadoop
useradd -g hadoop -u 1024 -d /home/hadoop hadoop
echo hadoop:hadppwd | chpasswd
echo "####create hadoop user Done####"

### 创建hadoop安装目录 ###
mkdir -p /opt/hadoop

### 切换登录到hadoop用户 ###
su - hadoop

### 生成hadoop用户秘钥##
mkdir ~/.ssh
chmod 700 ~/.ssh
cd ~/.ssh
ssh-keygen

###分发秘钥至所有节点 ###
ssh-copy-id node101
ssh-copy-id node102
ssh-copy-id node103

五、安装Zookeeper

1、下载安装

### 在每个节点均执行操作 ###

echo "####install zk####"

### 进入hadoop安装目录 ###
cd /opt/hadoop

### 下载zk安装包到安装目录 ###
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz --no-check-certificate

### 解压zk安装包 ###
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz

### 配置zk环境变量 ###

### 注意：由于采用脚本配置环境变量文件，所以对"$"符号前需要增加"\"转义符 ###
cat << EOF > /etc/profile.d/zk3_8_0.sh
export ZOOKEEPER_HOME=/opt/hadoop/apache-zookeeper-3.8.0-bin/
export PATH=\$PATH:\$ZOOKEEPER_HOME/bin
EOF

### 生效最新环境变量 ###
source /etc/profile

### 创建zk数据目录 ###
mkdir $ZOOKEEPER_HOME/data

2、配置zoo.cfg

### 在每个节点均执行操作 ###

cat << EOF > conf/zoo.cfg
# tickTime：Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。session最小有效时间为tickTime*2
tickTime=2000

# Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。不要使用/tmp目录
dataDir=/opt/hadoop/apache-zookeeper-3.8.0-bin/data

# 端口，默认就是2181
clientPort=2181

# 集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量），超过此数量没有回复会断开链接
initLimit=10

# 集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）
syncLimit=5

# 最大客户端链接数量，0不限制，默认是0
maxClientCnxns=60

# zookeeper集群配置项，server.1，server.2，server.3是zk集群节点；node1,node2,node3是主机名称；2888是主从通信端口；3888用来选举leader
server.1=node101.cc.local:2888:3888
server.2=node102.cc.local:2888:3888
server.3=node103.cc.local:2888:3888
EOF

3、配置myid

### 在node1节点均执行操作 ###

echo 1 > $ZOOKEEPER_HOME/data/myid

### 在node2节点均执行操作 ###

echo 2 > $ZOOKEEPER_HOME/data/myid

### 在node3节点均执行操作 ###

echo 3 > $ZOOKEEPER_HOME/data/myid

4、启动/查看/停止服务

# 启动服务
zkServer.sh start


# 查看服务状态
zkServer.sh status


# 停止服务
zkServer.sh status

六、安装Hadoop

1、下载安装

### 在每个节点均执行操作 ###

echo "####install hadoop####"

### 进去hadoop安装目录 ###
cd /opt/hadoop

### 下载hadoop安装包 ###
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz --no-check-certificate

### 解压hadoop安装包 ###
tar -zxvf hadoop-3.3.4.tar.gz

### 创建hadoop的临时目录、数据目录和日志目录 ###
cd /opt/hadoop/hadoop-3.3.4 && mkdir tmp data logs

### 创建hadoop的数据目录 ###
mkdir /opt/hadoop/hadoop-3.3.4/data/namenode journalnode datanode

### 修改hadoop安装目录权限给hadoop用户 ###
chown -R hadoop:hadoop /opt/hadoop

### 配置hadoop环境变量 ###

### 注意：由于采用脚本配置环境变量文件，所以对"$"符号前需要增加"\"转义符 ###
cat << EOF > /etc/profile.d/hadoop3_3_4.sh
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export HADOOP_LOG_DIR=\$HADOOP_HOME/logs
export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin
EOF

### 生效最新环境变量 ###
source /etc/profile

2、配置hadoop-env.sh

### 在每个节点均执行操作 ###

### 配置 hadoop-3.3.4/etc/hadoop/hadoop-env.sh ###

cat << EOF >> /opt/hadoop/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_PID_DIR=/opt/hadoop/hadoop-3.3.4/tmp/
export HDFS_NAMENODE_USER=hadoop
export HDFS_DATANODE_USER=hadoop
export HDFS_SECONDARYNAMENODE_USER=hadoop
export YARN_RESOURCEMANAGER_USER=hadoop
export YARN_NODEMANAGER_USER=hadoop
EOF

3、配置core-site.xml

        编辑hadoop-3.3.4/etc/hadoop/core-site.xml

### 在每个节点均执行操作 ###

###提示：通过vi手工修改<configuration></configuration>中的内容 ###

<configuration>
  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS等文件系统 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ccns</value>
  </property>
  
  <!-- 设置Hadoop临时目录路径 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
  
  <!-- 指定zookeeper地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>node101.cc.local:2181,node102.cc.local:2181,node103.cc.local:2181</value>
  </property>
  
  <!-- 设置Hadoop本地保存数据路径 -->
  <property>
    <name>hadoop.data.dir</name>
    <value>/opt/hadoop/data</value>
  </property>
  
  <!-- 设置HDFS web UI用户身份 -->  
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>hadoop</value>
  </property>
  
  <!-- 配置该root允许通过代理访问的主机节点 -->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>

  <!-- 配置该root允许代理的用户所属组 -->
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>

  <!-- 配置该root允许代理的用户 -->
  <property>
    <name>hadoop.proxyuser.root.users</name>
    <value>*</value>
   </property>

  <!-- 对于每个<root>用户，hosts必须进行配置，而groups和users至少需要配置一个。-->

  <!-- 文件系统垃圾桶保存时间 -->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
</configuration>

4、配置hdfs-site.xml

         编辑hadoop-3.3.4/etc/hadoop/hdfs-site.xml

### 在每个节点均执行操作 ###

###提示：通过vi手工修改<configuration></configuration>中的内容 ###

<configuration>
  <!--执行hdfs的nameservice为ns，注意要和core-site.xml中的名称保持一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>ccns</value>
  </property>
  
  <!-- nameservice包含的namenode，ns集群下有两个namenode，分别为nn1, nn2 -->
  <property>
    <name>dfs.ha.namenodes.ccns</name>
    <value>nn1,nn2</value>
  </property>
  
  <!-- nn1的rpc地址和端口号，rpc用来和datanode通讯，默认值：9000-->
  <property>
    <name>dfs.namenode.rpc-address.ccns.nn1</name>
    <value>node101.cc.local:9000</value>
  </property>

  <!-- nn2的rpc地址和端口号，rpc用来和datanode通讯，默认值：9000-->
  <property>
    <name>dfs.namenode.rpc-address.ccns.nn2</name>
    <value>node102.cc.local:9000</value>
  </property>

  <!-- nn1的http地址和端口号，web客户端 -->
  <property>
    <name>dfs.namenode.http-address.ccns.nn1</name>
    <value>node101.cc.local:9870</value>
  </property>
  
  <!-- nn2的http地址和端口号，web客户端 -->
  <property>
    <name>dfs.namenode.http-address.ccns.nn2</name>
    <value>node102.cc.local:9870</value>
  </property>
  
  <!-- 指定namenode的元数据在JournalNode上存放的位置，namenode2可以从journalnode集群里的指定位置上获取信息，达到热备效果 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node101.cc.local:8485;node102.cc.local:8485;node103.cc.local:8485/ccns</value>
  </property>

  <!-- 配置失败自动切换实现方式,客户端连接可用状态的NameNode所用的代理类,默认值：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider -->
  <property>
    <name>dfs.client.failover.proxy.provider.ccns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制,HDFS的HA功能的防脑裂方法。建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，2台NN之间可免密码登陆.sshfences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  
  <!-- 开启NameNode失败自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  
  <!-- 配置失败自动切换实现方式 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ccns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  
  <!-- 指定上述选项ssh通讯使用的密钥文件在系统中的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 指定JournalNode在本地磁盘存放数据的位置。 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/hadoop-3.3.4/data/journalnode</value>
  </property>
  
  <!--配置namenode存放元数据的目录，默认放到hadoop.tmp.dir下-->
  <property>   
    <name>dfs.namenode.name.dir</name>   
    <value>file:///opt/hadoop/hadoop-3.3.4/data/namenode</value>   
  </property>   

  <!--配置datanode存放元数据的目录，默认放到hadoop.tmp.dir下-->
  <property>   
    <name>dfs.datanode.data.dir</name>   
    <value>file:///opt/hadoop/hadoop-3.3.4/data/datanode</value>    
  </property>

  <!-- 副本数量配置 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  
  <!--设置用户的操作权限，false表示关闭权限验证，任何用户都可以操作-->                         
  <property>   
    <name>dfs.permissions</name>   
    <value>false</value>   
  </property>
</configuration>

5、配置yarn-site.xml

        编辑hadoop-3.3.4/etc/hadoop/yarn-site.xml

### 在每个节点均执行操作 ###

###提示：通过vi手工修改<configuration></configuration>中的内容 ###

<configuration>
<!--开启ResourceManager HA功能-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  
  <!--标志ResourceManager-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>ccyarn</value>
  </property>
  
  <!--集群中ResourceManager的ID列表，后面的配置将引用该ID-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  
  <!-- 设置YARN集群主角色运行节点rm1-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node101.cc.local</value>
  </property>
  
  <!-- 设置YARN集群主角色运行节点rm2-->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node102.cc.local</value>
  </property>
  
  <!--ResourceManager1的Web页面访问地址-->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>node101.cc.local:8088</value>
  </property>

  <!--ResourceManager2的Web页面访问地址-->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>node102.cc.local:8088</value>
  </property>

  <!--ZooKeeper集群列表-->
  <property>
    <name>hadoop.zk.address</name>
    <value>node101.cc.local:2181,node102.cc.local:2181,node103.cc.local:2181</value>
  </property>
  
  <!--启用ResouerceManager重启的功能，默认为false-->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  
   <!--用于ResouerceManager状态存储的类-->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
  </property>
  
  <!-- 是否将对容器实施虚拟内存限制 -->
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  
  <!-- 开启日志聚集功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  
  <!-- 设置日志聚集服务器地址 -->
  <property>
    <name>yarn.log.server.url</name>
    <value>http://node101:19888/jobhistory/logs</value>
  </property>
  
  <!-- 设置日志保留时间为7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
</configuration>

6、配置mapred-site.xml

        编辑hadoop-3.3.4/etc/hadoop/mapred-site.xml

### 在每个节点均执行操作 ###

###提示：通过vi手工修改<configuration></configuration>中的内容 ###

<configuration>
<!-- 设置MR程序默认运行模式，yarn集群模式，local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>

  <!-- 历史服务器端地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node101:10020</value>
  </property>
  
  <!-- 历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node101:19888</value>
  </property>
  
  <!-- map环境变量 -->
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>

  <!-- reduce环境变量 -->
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

7、配置works

### 在每个节点均执行操作 ###
### 配置 hadoop-3.3.4/etc/hadoop/workers ###
cat << EOF > /opt/hadoop/hadoop-3.3.4/etc/hadoop/workers
node101.cc.local
node102.cc.local
node103.cc.loca
EOF

8、初始化ZKFC

### 选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
### 前提：已正常启动zookeeper ###
### 初始化zk ###
hdfs zkfc -formatZK

9、初始化namenode

### 每个节点分别启动 journalnode ###
hdfs --daemon start journalnode

### 初始化主namenode，此次选择node1为主namenode ###
hdfs namenode -format

### 启动主namenode ###
hdfs --daemon start namenode

### 初始化从namenode，此次node2为从namenode ###
hdfs namenode -bootstrapStandby

10、启动/查看/停止服务

### 一键启动全部hadoop服务
### 一键启动选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
start-all.sh

#一键启动HDFS
### 一键启动选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
start-dfs.sh

#一键启动yarn
### 一键启动选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
start-yarn.sh

#启动HDFS单个服务进程
hdfs --daemon start namenode|datanode|journalnode|zkfc

# 启动YARN单个服务进程
yarn --daemon start resourcemanager|nodemanager

#启动历史服务进程(这必须单独启动)
mapred --daemon start historyserver

#查看服务
jps

### 一键停止全部hadoop服务
### 一键停止选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
stop-all.sh

#一键停止HDFS
### 一键停止选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
stop-dfs.sh

#一键停止yarn
### 一键停止选择任何一个节点上执行均可，此次选择在node1节点上执行 ###
stop-yarn.sh

#停止HDFS单个服务进程
hdfs --daemon stop namenode|datanode|journalnode|zkfc

# 停止YARN单个服务进程
yarn --daemon stop resourcemanager|nodemanager

11、Web UI访问

HDFS集群Web UI默认端口9870，访问地址为namenode的IP地址
node1：http://192.168.121.101:9870
node2：http://192.168.121.102:9870

注意：
1、由于配置了HA高可用模式，所以每个namenode都可以打开，首页会显示namenoded的状态是active或standby，当通过Web UI去访问hdfs目录时，必须选择active的namenode；
2、在windows上使用web ui上传文件时，由于没法识别node101.cc.local，node102.cc.local，node103.cc.local，所以上传文件会失败，只需要在windows的hosts文件加上对应的解析就可以正常操作了。

Yarn集群WEB Ui默认端口8088，访问地址为resourcemanager的IP地址
node1：http://192.168.121.101:8088/
node2：http://192.168.121.102:8088/

注意：只有一个resourcemanager是active的，当访问到从resourcemanager时，页面会自动跳转至active的resourcemanager的Web地址，但由于windows上没法识别node101.cc.local，node102.cc.local，node103.cc.local，所以会造成页面无法打开，只需要在windows的hosts文件加上对应的解析就可以正常操作，或者直接打开active的resourcemanager的Web地址即可文章来源地址https://www.toymoban.com/news/detail-608728.html

到了这里，关于Centos7 + Hadoop 3.3.4 HA高可用集群部署的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【大数据之Hadoop】三十七、Hadoop HA高可用

    【大数据之Hadoop】三十七、Hadoop HA高可用

      实现高可用最关键的策略是消除单点故障。HA分成各个组件的HA机制：HDFS的HA和YARN的HA。   Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 NameNode主要在以下两个方面影响HDFS集群： （1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。 （2）

    2024年02月12日
    浏览(44)
  • HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）

    HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）

    目录 1.前期准备 1.1.hadoop-3.1.3.tar.gz，jdk-8u212-linux-x64.tar.gz，apache-zookeeper-3.5.7-bin.tar.gz三个包提取码：k5y6 2.解压安装包，配置环境变量 3. 将三个节点分别命名为master、slave1、slave2并做免密登录 免密在前面Hadoop完全分布式搭建说过，这里不再赘述 4.搭建zookeeper集群  根据配置的

    2024年02月04日
    浏览(42)
  • Hadoop YARN HA 集群安装部署详细图文教程

    Hadoop YARN HA 集群安装部署详细图文教程

    目录 一、YARN 集群角色、部署规划 1.1 集群角色--概述 1.2 集群角色--ResourceManager（RM）  1.3 集群角色--NodeManager（NM）  1.4 HA 集群部署规划 二、YARN RM 重启机制 2.1 概述  2.2 演示  2.2.1 不开启 RM 重启机制现象  2.3 两种实现方案与区别  2.3.1 Non-work-preserving RM restart 2.3.2 

    2024年02月04日
    浏览(52)
  • CentOS7搭建hadoop集群

    CentOS7搭建hadoop集群

    说明：         1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例)         2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录         3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8         4.hadoop安装包下载，下载地址 准备开始搭建hadoop集群，以下操作在第

    2024年02月09日
    浏览(55)

  • Centos7.9_hadoop集群下配置防火墙_安全部署_防火墙配置_端口配置_协议配置_IP配置_全部亲测---记录022_大数据工作笔记0182

    之前看的hadoop集群搭建的时候,都是要把linux的防火墙关闭,还有selinux也会关闭,但是有些环境下,对安全要求比较高,即使在内网搭建hadoop集群,也需要打开防火墙,这个时候,可以配置: 比如我集群中有3台机器,那么这3台机器直接的ip地址,可以给这3台机器,都开启防火墙,然后 不取分

    2024年02月08日
    浏览(40)
  • CentOS 搭建 Hadoop3 高可用集群

    CentOS 搭建 Hadoop3 高可用集群

    spark101 spark102 spark103 192.168.171.101 192.168.171.102 192.168.171.103 namenode namenode journalnode journalnode journalnode datanode datanode datanode nodemanager nodemanager nodemanager recource manager recource manager job history job log job log job log 1.1 升级操作系统和软件 升级后建议重启 1.2 安装常用软件 1.3 修改主机名 1

    2024年02月06日
    浏览(49)
  • 大数据 | Hadoop HA高可用搭建保姆级教程（大二学长的万字笔记）

    大数据 | Hadoop HA高可用搭建保姆级教程（大二学长的万字笔记）

    大家好！我是初心，今天给大家带来的是Hadoop HA搭建保姆级教程，来自大二学长的万字长文自述和笔记！ 相信很多人看到这个标题时，可能会产生一种疑问：博主你之前不是出过一期关于Hadoop HA高可用集群搭建的教程了吗，这次怎么还出一篇？是有什么改进的地方吗？ 没错

    2024年02月06日
    浏览(43)
  • Centos7部署hadoop（单机）

    Centos7部署hadoop（单机）

    1.修改主机名称（需要在root用户下执行） hostnamectl set-hostname 需要修改的主机名称 或者修改配置文件 vim /etc/hostname 2.如果主机没有固定IP，需要固定IP（这一步自行查询） 3.关闭防火墙 4.禁用selinux 永久关闭selinux 安全策略，可以修改/etc/selinux/config, 将SELINUX=enforcing 修改为SELI

    2024年02月20日
    浏览(35)
  • Centos7原生hadoop环境，搭建Impala集群和负载均衡配置

    Centos7原生hadoop环境，搭建Impala集群和负载均衡配置

    Impala集群包含一个Catalog Server (Catalogd)、一个Statestore Server (Statestored) 和若干个Impala Daemon (Impalad)。Catalogd主要负责元数据的获取和DDL的执行，Statestored主要负责消息/元数据的广播，Impalad主要负责查询的接收和执行。 Impalad又可配置为coordinator only、 executor only 或coordinator and exe

    2024年02月04日
    浏览(56)
  • Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    和相关配置版本 ：Linux CentOS Hadoop Java 版本： CentOS7 Hadoop3.2.0 JDK1.8 虚拟机参数信息内存3.2G、处理器2x2、内存50G ISO：CentOS-7-x86_64-DVD-2009.iso 基本主从思路： 先把基础的设置（SSH、JDK、Hadooop、环境变量、Hadoop和MapReduce配置信息）在一台虚拟机（master）上配好，通过

    2024年02月05日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包