一、前言
hello，大家好！这篇文章是我在使用Hadoop集群时使用到的启停脚本的详细内容与感想，希望能帮助到大家！
本篇文章收录于 初心 的 大数据 专栏。
🧑 个人简介：大家好，我是初心，一个很菜但没放弃的人✨
💕 座右铭：理想主义的花，终究会盛开在浪漫主义的土壤里！🍺
💕 欢迎大家：这里是CSDN，我记录知识的地方，欢迎大家一起交流，有问题请私信😘
事情是这样的：我们在使用Hadoop集群时，一打开虚拟机，总是要在 NameNode 节点上启动 Hdfs ，在 ResourceManager 节点上启动 yarn ，关闭的时候也是，是不是有点麻烦呢？有没有能够让我们在一个节点上，执行一个命令，就可以把 Hdfs 、yarn以及历史服务器打开呢？答案是有！ 接下来让我为大家介绍——Hadoop启停脚本以及 jps 脚本。
二、Hadoop集群启停脚本
2.1 启停脚本及其背景
我们搭建好了 Hadoop 集群之后，需要启动 Hdfs 和 yarn，因为Sqoop执行数据导入的时候，就是在执行任务，而 yarn 是任务调度管理器，所以 yarn 也是必要的。以前我们开启、关闭 Hdfs 和 yarn 都是通过下面的命令：
在Hadoop102上开启 Hdfs：
sbin/start-dfs.sh
在Hadoop103上开启 yarn：
sbin/start-yarn.sh
在Hadoop102上开启历史服务器：
./bin/mapred --daemon start historyserver
在Hadoop103上关闭 yarn：
sbin/stop-yarn.sh
在Hadoop102上关闭 Hdfs：
sbin/stop-dfs.sh
在Hadoop102上开启历史服务器：
./bin/mapred --daemon stop historyserver
一次使用，我们就要执行四个命令，还要在不同的机器上执行，是不是有点麻烦呢？有没有什么办法，可以让我们执行一次就启动或者关闭 hdfs 和 yarn 呢？答案是有，那就是使用 shell 脚本。
首先跟大家简单讲讲这个脚本，脚本名为 myhadoop.sh，然后再告诉大家怎么使用，其实在Linux中使用什么脚本的方式都是几乎一样的。
- Hadoop启停脚本
#! /bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit;
fi
case $1 in
"start")
echo "-----*-----启动hadoop集群-----*-----"
echo "----------启动hdfs----------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo "----------启动yarn----------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo "----------启动historyserver----------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo "-----*-----关闭hadoop集群-----*-----"
echo "----------关闭historyserver----------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo "----------关闭yarn----------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo "----------关闭hdfs----------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error"
;;
esac
上面的脚本的功能就是如果执行脚本时，后面没有参数，就输出"No Args Input…"；
如果不是参数 start 或者 stop ，就输出"Input Args Error"；
如果是接着 start 参数，就通过 ssh 命令，连接到 Hadoop102主机开启 hdfs，连接到Hadoop103主机，开启yarn，再连接到Hadoop102，开启历史服务器；
如果是stop命令，就一次关闭历史服务器、yarn和hdfs。
2.2 使用方法
- 1.将 myhadoop.sh 脚本上传到 Linux 系统中的 /usr/local/bin目录下。
为什么选择这个目录？因为这个目录是在 Linux 系统的环境变量目录中的，在环境变量目录中的可执行文件，就是我们的可执行脚本（也就是自定义命令）。
查看 Linux 系统的环境变量命令：
echo $PATH
- 2.将脚本所属用户和组修改为当前用户
如果大家平时使用的不是 root 用户操作，那么文件上传上来时，它的所属用户和组可能是 root ，为了能够在普通用户下也能操作这个脚本，就要将它的所属用户和组修改为当前用户（这里我的当前用户是 sky ）。
sudo chown sky:sky myhadoop.sh -R
- 3.重命名脚本
mv myhadoop.sh myhadoop
- 4.为脚本赋予可执行权限
sudo chmod 777 myhadoop
- 5.测试脚本能否使用
使用 myhadoop 命令来开启 hdfs 和 yarn 以及历史服务器：
myhadoop start
使用 myhadoop 命令来关闭历史服务器、 hdfs 和 yarn ：
myhadoop stop
执行过程正确，证明脚本可用，这下我们开启 hdfs 和 yarn 就方便多了！
三、jps脚本
以前我们测试 hdfs、yarn以及历史服务器是否启动，都是通过 jps 命令查看Java进程来实现的，我们需要在Hadoop102、Hadoop103以及Hadoop104上分别执行 jps 命令，是不是也有点麻烦呢？这里使用 jpsall.sh 脚本，可以实现执行一次，分别在三台节点上执行 jps 命令。
- jps测试脚本
#! /bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo ----------$host----------
ssh $host jps
done
上面脚本的功能就是遍历Hadoop102-Hadoop104，然后通过 ssh 命令进入到三台主机，分别执行 jps 命令。
使用这个jpsall.sh脚本的步骤和上面使用 myhadoop 脚本是一样的，下面就直接演示结果：
这样看来，是不是也方便多了呢！
四、关机脚本
脚本就是这么的有趣！同学们如果还有喜欢脚本的，可以留言或者私信和我交流。下面再跟大家分享一个 关机脚本 ，可以执行一次，分别关闭 hadoop104，hadoop103，hadoop102。
- 关机脚本
#! /bin/bash
if [ $# -lt 1 ]
then
echo "NO Args Input Error..."
exit
fi
case $1 in
"s")
echo "---------------shutdown now---------------"
ssh hadoop104 "sudo shutdown -h now"
ssh hadoop103 "sudo shutdown -h now"
ssh hadoop102 "sudo shutdown -h now"
;;
"r")
echo "---------------reboot---------------"
ssh -t hadoop104 "sudo reboot"
ssh -t hadoop103 "sudo reboot"
ssh -t hadoop102 "sudo reboot"
;;
*)
echo "Input args Error..."
;;
esac
五、结语
本文主要讲解了Hadoop集群启停脚本、jps脚本以及关机脚本，希望对大家有帮助。文章来源：https://www.toymoban.com/news/detail-474304.html
✨ 这就是今天要分享给大家的全部内容了，我们下期再见！
✨ 本文由初心原创，首发于CSDN博客。
🍻 如果你喜欢的话，记得点赞收藏关注，我在CSDN等你！
文章来源地址https://www.toymoban.com/news/detail-474304.html
到了这里，关于大数据 | （六）Hadoop集群启停脚本的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
