Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark-Toy模板网

这篇具有很好参考价值的文章主要介绍了Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark,2024年程序员学习,docker,hadoop,spark

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）
Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark,2024年程序员学习,docker,hadoop,spark

正文

Docker可以在Window下和Linux下安装，本教程基于Ubuntu16.04之上安装docker，注意如果你选择在虚拟机上安装docker，请保证虚拟机内存不小于4G，硬盘大小不小于15G
首先打开终端命令窗口，注意如果当前用户是root用户则以下所有操作均无需带 sudo

sudo apt-get install docker.io
sudo docker images

2、下载Spark镜像

这个镜像是我这几天在搭分布式Spark环境时保存下来的，为了方便大家快速搭建Spark集群，可以在这里下载 spark.tar（密码：ydzo）下载完成之后，可以拷贝或者移动到当前用户的home目录下，接下来输入命令

sudo docker load < ~/spark.tar

完成后，再次输入命令查看

sudo docker images

如果镜像加载成功则会多出一个spark镜像文件

3、创建3个容器

输入以下命令创建容器

docker container create --name cloud8 -h cloud8 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud9 -h cloud9 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud10 -h cloud10 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0

完成后，输入以下命令查看容器

sudo docker ps -a

会发现多出3个容器，名称分别为cloud8，cloud9，cloud10

4、启动集群

在启动集群之前，需要修改一些配置文件，首先，打开3个命令窗口，按顺序在3个窗口输入以下命令

sudo docker start -i cloud8

sudo docker start -i cloud9

sudo docker start -i cloud10

此时，应该可以看到，三个窗口分别显示进入了cloud8，cloud9，cloud10三台主机
下面在三个窗口中执行以下命令

vi ~/hadoop/etc/hadoop/myid

按i键开始编辑，将cloud8中的值改为1，cloud9中的值改为2，cloud10中的值改为3
接下来在三个命令窗口中输入以下命令

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark,2024年程序员学习,docker,hadoop,spark

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
vHpNcv5-1713298536957)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！文章来源地址https://www.toymoban.com/news/detail-860033.html

到了这里，关于Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！