Docker快速部署Hadoop环境

这篇具有很好参考价值的文章主要介绍了Docker快速部署Hadoop环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Docker安装部署Hadoop环境,通过三个容器来模拟三个节点,最后只保留Master节点实现搭建。

安装环境

Ubuntu 22.04.1 LTS 和Docker 23.0.1

安装过程

拉取镜像
docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base

Docker快速部署Hadoop环境,docker,hadoop,容器

在Docker中创建网络,方便通信
docker network create --driver=bridge hadoop
创建Master节点
docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

–network hadoop :指定该容器使用创建的hadoop网络 --name Master :把该容器名称命名为Master-p 9870:9870 :将宿主机的9870端口号,映射到容器的9870端口-p 8088:8088 : 将宿主机的8088端口号,映射到容器的8088端口 这两个开放端口,其他节点不暴露端口

创建slave1和slave2节点
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

Docker快速部署Hadoop环境,docker,hadoop,容器

分别进入三个容器修改hosts文件

在修改之前,先分别查看三台主机的容器IP,后面的是你的容器id,可以通过docker ps查看

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 9883affae876

我这里的三台主机的IP为:

Master 172.19.0.2
Slave1 172.19.0.3
Slave2 172.19.0.4

进入容器修改/etc/hosts文件

docker exec -it 9883affae876 bash

Docker快速部署Hadoop环境,docker,hadoop,容器

在Master执行集群初始化

先进入Master节点容器的/usr/local/hadoop/bin

./hadoop namenode -format

在看到这个结果就算成功了

启动集群

回到sbin目录下,输入

./start-all.sh

然后再访问IP:9870就可以查看了

Docker快速部署Hadoop环境,docker,hadoop,容器

总结,通过Docker安装真的很方便,如果大家并没有那么多时间去做这些运维的工作,Docker部署真的是一个很好的方式文章来源地址https://www.toymoban.com/news/detail-529013.html

到了这里,关于Docker快速部署Hadoop环境的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • mac docker部署hadoop集群

    确保电脑已经安装docker docker安装过程可自行查找资料,mac下docker可以使用brew命令安装 安装之后,查看docker版本,确认安装成功 最好下载jdk-8,jdk的版本过高可能hadoop2.x不支持 jdk-8的下载地址:Java Downloads | Oracle 我下载的是hadoop3.3.4版本,下tar.gz压缩包 hadoop下载地址:Index

    2024年02月19日
    浏览(36)
  • 使用docker-compose.yml快速搭建开发、部署环境(nginx、tomcat、mysql、jar包、各种程序)以及多容器通信和统一配置

    image 镜像名称,可去镜像市场查找自己需要的 hostname 容器内服务名 container_name 容器名 volumes 可以把自己电脑的路径映射到容器中的文件夹中 networks 写同一个网络可以让容器之间进行通信 启动 在项目根目录的命令行中输入 docker-compose up 停止 在项目根目录的命令行中输入 d

    2024年02月12日
    浏览(56)
  • 【李老师云计算】实验三:在Docker中部署Hadoop集群

    同样是参考了学长的几篇博客,涛哥功德无量!在整合了各种信息之后,鄙人会尽量用更精炼、简单的说明来完成这个实验,当然不足一定是会有的,希望各位朋友可以斧正,同样也希望后来的朋友可以再次为这篇博客进行升级迭代! 博客是面向实验的,因此对完成实验无关

    2024年02月05日
    浏览(44)
  • 在hadoop或docker环境下基于kafka和flink的实时计算大屏展示

    第一章 总体需求 1.1.课题背景 某股票交易机构已上线一个在线交易平台,平台注册用户量近千万,每日均 接受来自全国各地的分支机构用户提交的交易请求。鉴于公司发展及平台管理要 求,拟委托开发一个在线实时大数据系统,可实时观测股票交易大数据信息,展 示部分重

    2024年02月03日
    浏览(42)
  • 【Docker安装】快速部署Docker环境

    2023年07月07日
    浏览(45)
  • 【Docker】Docker的使用案例以及未来发展、Docker Hub 服务、环境安全、容器部署安全

    作者简介: 辭七七,目前大二,正在学习C/C++,Java,Python等 作者主页: 七七的个人主页 文章收录专栏: 七七的闲谈 欢迎大家点赞 👍 收藏 ⭐ 加关注哦!💖💖    Docker是一个命令行工具,它提供了中央“docker”执行过程中所需的所有工具 。这使得Docker的操作非常简单。

    2024年02月08日
    浏览(49)
  • docker容器中快速部署ES集群的详细操作步骤(6个节点)

    ElasticSearch集群 1.集群原理 ElasticSearch是天生支持集群的,他不需要依赖其他的服务发现和注册的组件,如zookeeper这些,因为他内置了一个名字叫ZenDiscovery的模块,是ElasticSearch自己实现的一套用于节点发现和选主等功能的组件,所以ElasticSearch做起集群来非常简单,不需要太多

    2024年02月09日
    浏览(51)
  • 基础篇:容器化部署技术-—docker,从此摆脱多环境配置的苦恼!

    我们设想这样一个场景,现在 leader 给了你一个任务,让你把开发完毕的应用程序进行打包、分发、部署,要求多平台通用,程序的前后端是单独的工程、后端依赖了 mysql、redis、RabbitMQ 等。按常规的运维思路就是,先将配置好的前后端程序分别打包 -- 将打包文件上传到服务

    2024年02月22日
    浏览(43)
  • docker容器打包成镜像,在新的服务器上部署环境

    2719a6b5b8e1是容器id(用docker ps 命令查看) , my_paddle2.2.2:v1 是自己打包的镜像的名字命名格式,有冒号的 docker commit -a “shi” -m “to150” 2799a6b6b8e1 my_paddle2.2.2:v1 -o 和 是一个意思都是打包镜像的符号 sparkdemo:v1 ,就是有冒号,整体镜像名字规则 docker images查看镜像,后用命令保存

    2023年04月08日
    浏览(57)
  • Docker容器部署OpenCV,打造高效可移植的计算机视觉开发环境

    海鲸AI-ChatGPT4.0国内站点:https://www.atalk-ai.com 在计算机视觉领域,快速部署和测试算法是研究和开发的关键。OpenCV作为一个强大的开源计算机视觉库,广泛应用于各种图像处理和视频分析任务。然而,配置OpenCV环境可能会因为不同操作系统和依赖库的版本差异而变得复杂。这

    2024年04月26日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包