Docker安装部署Hadoop环境,通过三个容器来模拟三个节点,最后只保留Master节点实现搭建。
安装环境
Ubuntu 22.04.1 LTS 和Docker 23.0.1
安装过程
拉取镜像
docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base
在Docker中创建网络,方便通信
docker network create --driver=bridge hadoop
创建Master节点
docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
–network hadoop :指定该容器使用创建的hadoop网络 --name Master :把该容器名称命名为Master-p 9870:9870 :将宿主机的9870端口号,映射到容器的9870端口-p 8088:8088 : 将宿主机的8088端口号,映射到容器的8088端口 这两个开放端口,其他节点不暴露端口
创建slave1和slave2节点
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
分别进入三个容器修改hosts文件
在修改之前,先分别查看三台主机的容器IP,后面的是你的容器id,可以通过docker ps查看
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 9883affae876
我这里的三台主机的IP为:
Master 172.19.0.2
Slave1 172.19.0.3
Slave2 172.19.0.4
进入容器修改/etc/hosts文件
docker exec -it 9883affae876 bash
在Master执行集群初始化
先进入Master节点容器的/usr/local/hadoop/bin
./hadoop namenode -format
在看到这个结果就算成功了
启动集群
回到sbin目录下,输入
./start-all.sh
然后再访问IP:9870就可以查看了
文章来源:https://www.toymoban.com/news/detail-529013.html
总结,通过Docker安装真的很方便,如果大家并没有那么多时间去做这些运维的工作,Docker部署真的是一个很好的方式文章来源地址https://www.toymoban.com/news/detail-529013.html
到了这里,关于Docker快速部署Hadoop环境的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!