Docker环境部署Hadoop并使用docker构建spark运行案列(全网最详细教程)

这篇具有很好参考价值的文章主要介绍了Docker环境部署Hadoop并使用docker构建spark运行案列(全网最详细教程)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Docker部署hadoop 和使用docker构建spark运行环境(全网最详细教程)

首先查看版本环境(docker中没有下载docker和docker-compose的可以看我上一篇博客
Linux 安装配置Docker 和Docker compose 并在docker中部署mysql和中文版portainer图形化管理界面)

查看docker和docker-compose版本:

 docker version
docker-compose version

docker spark,Docker,大数据,docker,hadoop,spark,javadocker spark,Docker,大数据,docker,hadoop,spark,java

OK,环境没问题,我们正式开始Docker中部署hadoop

<Docker中部署Hadoop>

更新系统

sudo apt update

docker spark,Docker,大数据,docker,hadoop,spark,java

sudo apt upgrade

docker spark,Docker,大数据,docker,hadoop,spark,java

国内加速镜像下载修改仓库源

创建或修改 /etc/docker/daemon.json 文件

sudo vi /etc/docker/daemon.json
{
    "registry-mirrors": [ 
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://registry.docker-cn.com",
    "https://kfp63jaj.mirror.aliyuncs.com"]
}

docker spark,Docker,大数据,docker,hadoop,spark,java

重载docker让CDN配置生效

sudo systemctl daemon-reload
sudo systemctl restart docker

docker spark,Docker,大数据,docker,hadoop,spark,java

抓取ubuntu 20.04的镜像作为基础搭建hadoop环境

sudo docker pull ubuntu:20.04

docker spark,Docker,大数据,docker,hadoop,spark,java

使用该ubuntu镜像启动,填写具体的path替代

sudo docker run -it -v <host-share-path>:<container-share-path> ubuntu

例如

sudo docker run -it -v ~/hadoop/build:/home/hadoop/build ubuntu

 docker spark,Docker,大数据,docker,hadoop,spark,java

容器启动后,会自动进入容器的控制台

在容器的控制台安装所需软件

apt-get update

docker spark,Docker,大数据,docker,hadoop,spark,java

apt-get upgrade

docker spark,Docker,大数据,docker,hadoop,spark,java

 安装所需软件

apt-get install net-tools vim openssh-server

 docker spark,Docker,大数据,docker,hadoop,spark,java

/etc/init.d/ssh start

让ssh服务器自动启动

vi ~/.bashrc

在文件的最末尾按O进入编辑模式,加上:

/etc/init.d/ssh start

 docker spark,Docker,大数据,docker,hadoop,spark,java

按ESC返回命令模式,输入:wq保存并退出。

让修改即刻生效

source ~/.bashrc

docker spark,Docker,大数据,docker,hadoop,spark,java

配置ssh的无密码访问

ssh-keygen -t rsa

连续按回车

docker spark,Docker,大数据,docker,hadoop,spark,java

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

docker spark,Docker,大数据,docker,hadoop,spark,java

进入docker中ubuntu里面的容器

docker start 11f9454b301f
docker exec -it clever_gauss  bash

docker spark,Docker,大数据,docker,hadoop,spark,java

安装JDK 8

hadoop 3.x目前仅支持jdk 7, 8

apt-get install openjdk-8-jdk

在环境变量中引用jdk,编辑bash命令行配置文件

vi ~/.bashrc

在文件的最末尾加上

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

export PATH=$PATH:$JAVA_HOME/bin

docker spark,Docker,大数据,docker,hadoop,spark,java

让jdk配置即刻生效

source ~/.bashrc

docker spark,Docker,大数据,docker,hadoop,spark,java

测试jdk正常运作

java -version

docker spark,Docker,大数据,docker,hadoop,spark,java

将当前容器保存为镜像

sudo docker commit <CONTAINER ID> <IMAGE NAME> #自己起的镜像名字

 sudo docker commit 11f9454b301f  ubuntu204 #我的是ubuntu204

docker spark,Docker,大数据,docker,hadoop,spark,java

 可以看到该镜像已经创建成功,下次需要新建容器时可直接使用该镜像

docker spark,Docker,大数据,docker,hadoop,spark,java

注意!!!此过程的两个相关路径如下(不要搞混了):
<host-share-path>指的是~/hadoop/build
<container-share-path>指的是/home/hadoop/build

下载hadoop,下面以3.2.3为例

https://hadoop.apache.org/releases.html

cd  ~/hadoop/build
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz

(这种方法能下载但是会出现下载的包大小不对,我们可以用第二种方法)

方法二:

在自己电脑浏览器输入下载https://dlcdn.apache.org/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz

下载到自己电脑上 通过winscp上传到虚拟机中

docker spark,Docker,大数据,docker,hadoop,spark,java

然后有安装包的目录打开终端, 输入

sudo mv hadoop-3.2.3.tar.gz ~/hadoop/build

移动文件到目录 ~/hadoop/build

docker spark,Docker,大数据,docker,hadoop,spark,java

在容器控制台上解压hadoop(就是之前创建的容器的控制台,不是自己的控制台!

docker start 11f9454b301f
docker exec -it clever_gauss  bash
cd /home/hadoop/build
tar -zxvf hadoop-3.2.3.tar.gz -C /usr/local

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

安装完成了,查看hadoop版本

cd /usr/local/hadoop-3.2.3
./bin/hadoop version

docker spark,Docker,大数据,docker,hadoop,spark,java

为hadoop指定jdk位置

vi etc/hadoop/hadoop-env.sh

docker spark,Docker,大数据,docker,hadoop,spark,java

查找到被注释掉的JAVA_HOME配置位置,更改为刚才设定的jdk位置

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

hadoop联机配置

配置core-site.xml文件

vi etc/hadoop/core-site.xml

加入:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.2.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        </property>
</configuration>

docker spark,Docker,大数据,docker,hadoop,spark,java

配置hdfs-site.xml文件

vi etc/hadoop/hdfs-site.xml

docker spark,Docker,大数据,docker,hadoop,spark,java

加入

<configuration>
    <!--- 配置保存Fsimage位置 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.2.3/namenode_dir</value>
    </property>
    <!--- 配置保存数据文件的位置 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-3.2.3/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

docker spark,Docker,大数据,docker,hadoop,spark,java

MapReduce配置

该配置文件的定义:

https://hadoop.apache.org/docs/r<Hadoop版本号>/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

配置mapred-site.xml文件

vi etc/hadoop/mapred-site.xml

docker spark,Docker,大数据,docker,hadoop,spark,java

加入: 

<configuration>
    <!--- mapreduce框架的名字 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <! -- 设定HADOOP的位置给yarn和mapreduce程序 -->
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

docker spark,Docker,大数据,docker,hadoop,spark,java

配置yarn-site.xml文件

vi etc/hadoop/yarn-site.xml

docker spark,Docker,大数据,docker,hadoop,spark,java

 加入

<configuration>
<!-- Site specific YARN configuration properties -->
        <!-- 辅助服务,数据混洗 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
</configuration>

docker spark,Docker,大数据,docker,hadoop,spark,java

服务启动权限配置

配置start-dfs.sh与stop-dfs.sh文件

vi sbin/start-dfs.sh 和 vi sbin/stop-dfs.sh
vi sbin/start-dfs.sh
HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

docker spark,Docker,大数据,docker,hadoop,spark,java

继续修改配置文件

vi sbin/stop-dfs.sh
HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

docker spark,Docker,大数据,docker,hadoop,spark,java

配置start-yarn.sh与stop-yarn.sh文件

vi sbin/start-yarn.sh 和 vi sbin/stop-yarn.sh
vi sbin/start-yarn.sh
YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

docker spark,Docker,大数据,docker,hadoop,spark,java

vi sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

docker spark,Docker,大数据,docker,hadoop,spark,java

 核心文件一定不能配错,否则后面会出现很多问题!

配置完成,保存镜像

docker ps

docker commit 11f9454b301f ubuntu-myx

保存的镜像名为 ubuntu-myx

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

启动hadoop,并进行网络配置

打开三个宿主控制台,启动一主两从三个容器

master

打开端口映射:8088 => 8088

sudo docker run -p 8088:8088 -it -h master --name master ubuntu-myx

docker spark,Docker,大数据,docker,hadoop,spark,java

启动节点worker01

sudo docker run -it -h worker01 --name worker01 ubuntu-myx

docker spark,Docker,大数据,docker,hadoop,spark,java

节点worker02

sudo docker run -it -h worker02 --name worker02 ubuntu-myx

docker spark,Docker,大数据,docker,hadoop,spark,java

docker spark,Docker,大数据,docker,hadoop,spark,java

分别打开三个容器的/etc/hosts,将彼此的ip地址与主机名的映射信息补全(三个容器均需要如此配置)

vi /etc/hosts

使用以下命令查询ip

ifconfig

docker spark,Docker,大数据,docker,hadoop,spark,java

添加信息(每次容器启动该文件都需要调整)

172.17.0.3      master

172.17.0.4      worker01

172.17.0.5      worker02

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

docker spark,Docker,大数据,docker,hadoop,spark,java

检查配置是否有效

ssh master
ssh worker01
ssh worker02

master 连接worker01节点successfully:

docker spark,Docker,大数据,docker,hadoop,spark,java

worker01节点连接master 成功:

docker spark,Docker,大数据,docker,hadoop,spark,java

  worker02连接worker01节点successfully:

docker spark,Docker,大数据,docker,hadoop,spark,java

在master容器上配置worker容器的主机名

cd /usr/local/hadoop-3.2.3
vi etc/hadoop/workers

docker spark,Docker,大数据,docker,hadoop,spark,java

删除localhost,加入

worker01

worker02

docker spark,Docker,大数据,docker,hadoop,spark,java

网络配置完成

启动hadoop

在master主机上

cd /usr/local/hadoop-3.2.3
./bin/hdfs namenode -format

正常启动 

docker spark,Docker,大数据,docker,hadoop,spark,java

docker spark,Docker,大数据,docker,hadoop,spark,java

启动服务

./sbin/start-all.sh

docker spark,Docker,大数据,docker,hadoop,spark,java

效果如下表示正常

docker spark,Docker,大数据,docker,hadoop,spark,java

在hdfs上建立一个目录存放文件

假设该目录为:/home/hadoop/input

./bin/hdfs dfs -mkdir -p /home/hadoop/input
./bin/hdfs dfs -put ./etc/hadoop/*.xml /home/hadoop/input

docker spark,Docker,大数据,docker,hadoop,spark,java

查看分发复制是否正常

./bin/hdfs dfs -ls /home/hadoop/input

docker spark,Docker,大数据,docker,hadoop,spark,java

运行案例:

在hdfs上建立一个目录存放文件

例如

./bin/hdfs dfs -mkdir -p /home/hadoop/wordcount

把文本程序放进去

./bin/hdfs dfs -put hello /home/hadoop/wordcount

查看分发情况

./bin/hdfs dfs -ls /home/hadoop/wordcount

docker spark,Docker,大数据,docker,hadoop,spark,java

docker spark,Docker,大数据,docker,hadoop,spark,java

运行MapReduce自带wordcount的示例程序(自带的样例程序运行不出来,可能是虚拟机性能的问题,这里就换成了简单的wordcount程序)

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount /home/hadoop/wordcount /home/hadoop/wordcount/output

docker spark,Docker,大数据,docker,hadoop,spark,java

 运行成功:

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

运行结束后,查看输出结果

./bin/hdfs dfs -ls /home/hadoop/wordcount/output
./bin/hdfs dfs -cat /home/hadoop/wordcount/output/*

docker spark,Docker,大数据,docker,hadoop,spark,java

 至此,Docker部署hadoop成功!跟着步骤走一般都没有什么问题。

下面我们使用docker构建spark运行环境

<使用docker构建spark运行环境>

使用docker hub查找我们需要的镜像

参考 Docker Hub

curl -LO https://raw.githubusercontent.com/bitnami/containers/main/bitnami/spark/docker-compose.yml

docker spark,Docker,大数据,docker,hadoop,spark,java

提示:curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused

docker spark,Docker,大数据,docker,hadoop,spark,java

原因应该是国外的ip,撞墙了 直接看解决方案吧

解决方案:

1、打开网站,https://www.ipaddress.com/,在此网站中查询一下 raw.githubusercontent.com对应的IP 地址

到这个网站查找这个域名绑定的ip

docker spark,Docker,大数据,docker,hadoop,spark,java

Vi etc/hosts

末尾加上:

185.199.108.133 raw.githubusercontent.com

curl运行成功

docker spark,Docker,大数据,docker,hadoop,spark,java

curl -LO https://raw.githubusercontent.com/bitnami/containers/main/bitnami/spark/docker-compose.yml

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker-compose up

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

安装 Spark 的 docker 镜像

docker pull bitnami/spark:latest

docker pull bitnami/spark:[TAG]

docker spark,Docker,大数据,docker,hadoop,spark,javagit clone出现 fatal: unable to access ‘https://github.com/...‘的解决方法

docker spark,Docker,大数据,docker,hadoop,spark,java

查阅了一些资料,发现需要在hosts文件中添加映射。

vi /etc/hosts

在hosts文件中加入两行

140.82.113.4 github.com

140.82.113.4 www.github.com

git clone

docker spark,Docker,大数据,docker,hadoop,spark,javadocker spark,Docker,大数据,docker,hadoop,spark,javacd bitnami/APP/VERSION/OPERATING-SYSTEM

找到对应目录:

cd /home/rgzn/containers/bitnami//spark/3.2/debian-11

docker spark,Docker,大数据,docker,hadoop,spark,java

 docker spark,Docker,大数据,docker,hadoop,spark,java

 # . 表示当前目录

docker build -t bitnami/spark:latest .

参数说明:

-t :指定要创建的目标镜像名

. :Dockerfile 文件所在目录,可以指定Dockerfile 的绝对路径

找到包含 Dockerfile 的目录并执行命令来自己构建映像

docker spark,Docker,大数据,docker,hadoop,spark,java

使用yml部署文件部署spark环境

spark.yml文件可以从本机编辑好再上传的虚拟机或服务器。spark.yml文件内容如下:

version: '3.8'

services:
  spark-master:
    image: bde2020/spark-master
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    volumes:
      - ~/spark:/data
    environment:
      - INIT_DAEMON_STEP=setup_spark
  spark-worker-1:
    image: bde2020/spark-worker:latest
    container_name: spark-worker-1
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    volumes:
      - ~/spark:/data
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
  spark-worker-2:
    image: bde2020/spark-worker:latest
    container_name: spark-worker-2
    depends_on:
      - spark-master
    ports:
      - "8082:8081"
    volumes:
      - ~/spark:/data
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"

docker spark,Docker,大数据,docker,hadoop,spark,java

使用yml部署文件部署spark环境

cd /usr/local/bin

创建文件sudo vim spark.yml

sudo chmod 777 spark.yml

docker spark,Docker,大数据,docker,hadoop,spark,java

在spark.yml文件所在的目录下,执行命令:

sudo docker-compose -f spark.yml up -d

docker spark,Docker,大数据,docker,hadoop,spark,java

查看容器创建与运行状态

sudo docker ps

docker spark,Docker,大数据,docker,hadoop,spark,java

对输出进行格式化

sudo docker ps --format '{{.ID}} {{.Names}}'

docker spark,Docker,大数据,docker,hadoop,spark,java

使用浏览器查看master的web ui界面

127.0.0.1:8080

docker spark,Docker,大数据,docker,hadoop,spark,java

http://192.168.95.171:50070

docker spark,Docker,大数据,docker,hadoop,spark,java

进入spark-master容器

sudo docker exec -it <master容器的id,仅需输入一部分即刻> /bin/bash

sudo docker exec -it 98600cfa9ba7 /bin/bash

docker spark,Docker,大数据,docker,hadoop,spark,java

查询spark环境,安装在/spark下面。

ls /spark/bin

docker spark,Docker,大数据,docker,hadoop,spark,java

进入spark-shell

/spark/bin/spark-shell --master spark://spark-master:7077 --total-executor-cores 8 --executor-memory 2560m

或者

/spark/bin/spark-shell

docker spark,Docker,大数据,docker,hadoop,spark,java

进入浏览器查看spark-shell的状态

docker spark,Docker,大数据,docker,hadoop,spark,java

测试:创建RDD与filter处理

创建一个RDD

val rdd=sc.parallelize(Array(1,2,3,4,5,6,7,8))

docker spark,Docker,大数据,docker,hadoop,spark,java

打印rdd内容

rdd.collect()

docker spark,Docker,大数据,docker,hadoop,spark,java 查询分区数

rdd.partitions.size

docker spark,Docker,大数据,docker,hadoop,spark,java

选出大于5的数值

val rddFilter=rdd.filter(_ > 5)

docker spark,Docker,大数据,docker,hadoop,spark,java

打印rddFilter内容

rddFilter.collect()

docker spark,Docker,大数据,docker,hadoop,spark,java

退出spark-shell

:quit

docker spark,Docker,大数据,docker,hadoop,spark,java

 运行案列成功!

以上就是Docker部署hadoop 和使用docker构建spark运行环境,我也是为这教程准备了好久,环境没啥问题的话按着操作基本都能完成docker部署hadoop和运行spark,祝大家一切顺利!

                                                                                               “与其临渊羡鱼,不如退而结网”文章来源地址https://www.toymoban.com/news/detail-774361.html

到了这里,关于Docker环境部署Hadoop并使用docker构建spark运行案列(全网最详细教程)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Docker容器部署java运行环境(java8 + mysql5.7 + redis5.0 + nginx1.14.1

    环境:阿里云ECS服务器 1.1 安装工具 1.2 为yum源添加docker仓库位置 1.3 将软件包信息提前在本地索引缓存 (非必要,建议执行,可以提升yum安装的速度,报错去掉fast试试) 1.4 安装Docker 傻瓜式安装 点击y 1.5 启动Docker 1.6 设置开机自启动 1.7 安装完成后可以测试一下,是否安装成功

    2024年02月02日
    浏览(78)
  • 简单指令实现Docker构建镜像启动运行保存导出后再导入新环境完整全流程

    本文做一个简单Docker使用指令指南,可快速实现Docker构建镜像、启动、运行、保存、导出后再导入新环境完整全流程。具体每一个指令又有很多参数和学问,大家可自行查询更详细的解释,本文可用于小白快速构建镜像并使用。 首先,准备一个Dockerfile,包含你要使用的基础

    2024年02月11日
    浏览(46)
  • Docker下安装Hadoop和Spark集群_docker 中安装hadoop和spark

    先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7 深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年最新软件测试全套学习资料》

    2024年04月27日
    浏览(39)
  • Docker部署php运行环境(php-fpm+nginx)

    前言 如果使用docker去部署一套php的运行环境,我们需要构建出nginx、php-fpm两个容器,nginx通过fast_cgi协议去转发php-fpm中的端口,从而实现web server的搭建,接下来以php的laravel框架为演示例子。 部署php-fpm 第一步 编写php-fpm镜像的Dockerfile: ./Dockerfile 第二步 配置Crontab定时任务:

    2024年02月06日
    浏览(57)
  • 杂记 | 使用idea构建SpringBoot项目并远程连接docker运行

    使用docker运行SpringBoot项目是一个不错的选择,传统方式需要手动打包并上传到服务器,再使用docker build构建镜像,再使用docker run启动运行,难免有些繁琐,本文介绍如何使用idea帮我们完成这些操作,简化操作流程。 (如上图)一般会默认带一个Docker,如果没有,点击+号创

    2024年02月12日
    浏览(41)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(53)
  • Docker部署(5)——使用docker run命令部署运行jar项目

           对于一些简单的单体项目,可以使用 docker run 命令可以直接在命令行中运行容器,无需事先构建镜像。这相较于之前使用的 dockerfile 文件来运行部署项目相当于是另外一种简单的部署方法,关于之前使用dockerfile 文件来运行部署这种方法,具体可以参考下面这篇文章

    2024年02月10日
    浏览(49)
  • 【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境

    网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。 1、机器环境 这里采用三台机器来部署分布式集群环境: 192.168.1.101 hadoop1 (docker管理节点) 192.168.1.102 hadoop2 192.168.1.103 hadoop3 2、下载Docker Hadoop的

    2024年02月02日
    浏览(49)
  • CENTOS上的网络安全工具(二十四)Windows下的Hadoop+Spark编程环境构建

            前面我们搭建了hadoop集群,spark集群,也利用容器构建了spark的编程环境。但是一般来说,就并行计算程序的开发,一刚开始一般是在单机上的,比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发,终究还是有些不爽。还好,hadoop和spark都是支持

    2024年02月09日
    浏览(67)
  • 使用Docker配置深度学习的运行环境

    在linux系统中进行操作,最重要的就是意识到用户权限,这在通过不同方式安装不同应用中非常重要,不然你就会导致一些用户无法使用。 除了用户权限的问题还有就是程序的安装位置,不同的安装位置的程序的启动方式是不同的,安装在 /usr/local/bin 目录下的程序,如果启动

    2024年02月04日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包