记录《现有docker中安装spark3.4.1》

这篇具有很好参考价值的文章主要介绍了记录《现有docker中安装spark3.4.1》。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基础docker环境中存储hadoop3--方便后续查看

参考:

记录《现有docker中安装spark3.4.1》,docker,容器,运维

记录《现有docker中安装spark3.4.1》,docker,容器,运维 

实践:

 记录《现有docker中安装spark3.4.1》,docker,容器,运维

 记录《现有docker中安装spark3.4.1》,docker,容器,运维

 文章来源地址https://www.toymoban.com/news/detail-669167.html

export JAVA_HOME=/opt/apache/jdk1.8.0_333
export SPARK_MASTER_IP=192.168.0.220
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_EXECUTOR_MEMORY=4g
export HADOOP_HOME=/opt/apache/hadoop-3.2.2/
export HADOOP_CONF_DIR=/opt/apache/hadoop-3.2.2/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/apache/jdk1.8.0_333/jre/lib/amd64
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

# A Spark Worker will be started on each of the machines listed below.
hadoop220
hadoop221
hadoop222

记录《现有docker中安装spark3.4.1》,docker,容器,运维

记录《现有docker中安装spark3.4.1》,docker,容器,运维

 记录《现有docker中安装spark3.4.1》,docker,容器,运维

 

 

到了这里,关于记录《现有docker中安装spark3.4.1》的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker启动Centos7容器,并在容器中安装Docker,且开启SSH

    前言 此处我的需求是,在docker中启动centos7容器,并在容器中安装docker,支持ssh远程连接。如果你不需要在容器中安装docker,则可以只看第一部分的前两段,分别为: 启动centos7 容器 和 进入刚刚创建的容器 ,然后直接跳过安装docker阶段,直接去看 开启 ssh 服务 即可。 启动c

    2024年02月15日
    浏览(49)
  • spark3.3.0安装&部署过程

    为了防止不必要的报错,部署之前请务必从开头开始看,切勿跳过其中一个部署模式,因为每一个部署模式都是从上一个模式的配置上进行的 下载地址:https://archive.apache.org/dist/spark/ 本文所下载版本为: spark-3.3.0-bin-hadoop2 环境: hadoop-2.7.5 jdk1.8.0 Scala 所谓的Local模式,就是不需

    2023年04月20日
    浏览(81)
  • Spark3 新特性之AQE

    一、 背景 Spark 2.x 在遇到有数据倾斜的任务时,需要人为地去优化任务,比较费时费力;如果任务在Reduce阶段,Reduce Task 数据分布参差不齐,会造成各个excutor节点资源利用率不均衡,影响任务的执行效率;Spark 3新特性AQE极大地优化了以上任务的执行效率。 二、 Spark 为什么需

    2024年02月14日
    浏览(35)
  • DOCKER容器中安装JDK1. 8 详细步骤

    在命令输入docker version命令显示如上图所示,则说明docker容器已经安装成功了,下面只需要根据步骤一步步操作即可在docker容器安装JDK。 2、通过DOCKER SEARCH命令查找远程镜像 注意:如果没指定版本号默认下载最新(latest) 此时,运行成功返回一长串类型uuid的东东,表示docker容器

    2024年02月11日
    浏览(43)
  • Docker系列--在容器中安装JDK的方法(有示例)

    原文网址:Docker系列--在容器中安装JDK的方法(有示例)_IT利刃出鞘的博客-CSDN博客 说明 本文介绍如何在容器中安装JDK。 为什么要装JDK? JDK里有很多工具,比如jps、jstack、jmap等,可以排查问题。 本文目标 给Ubuntu系统里的docker容器安装JDK8,可以调用其jps命令。 可以通过此命令

    2024年02月04日
    浏览(51)
  • Windows10系统spark3.0.0配置

    Windows10系统基本环境:spark3.0. 0 +hadoop3.1. 0 +scala2.12.0+java jdk1.8。 环境变量配置路径:电脑→属性→高级系统设置→环境变量 path中加入:%JAVA_HOME%/bin。 注:jdk版本不宜过高。 cmd验证: java -version 官方下载网址:https://www.scala-lang.org/ 选择对应版本,这里我选择的是scala2.12.0版本

    2024年04月26日
    浏览(37)
  • spark3.3.x处理excel数据

    环境: spark3.3.x scala2.12.x 引用: spark-shell --jars spark-excel_2.12-3.3.1_0.18.5.jar 或项目里配置pom.xml 代码: 1、直接使用excel文件第一行作为schema 2、使用自定义schema(该方法如果excel文件第一行不是所需数据,需手动限制读取的数据范围) ps:刚开始用的3.3.3_0.20.1这个版本的不可用,具体

    2024年02月08日
    浏览(33)
  • Hive3 on Spark3配置

    大数据组件 版本 Hive 3.1.2 Spark spark-3.0.0-bin-hadoop3.2 OS 版本 MacOS Monterey 12.1 Linux - CentOS 7.6 1)Hive on Spark说明 Hive引擎包括:默认 mr 、 spark 、 Tez 。 Hive on Spark :Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。 Spark on Hive :

    2024年02月04日
    浏览(39)
  • 在Docker中安装OnlyOffice过程记录

    官网地址:https://www.docker.com/products/docker-desktop/ 注意:我这里安装的版本是( Docker Desktop 4.21.1),只能安装到C盘,安装完成后第一件事是修改数据存储路径,否则C盘将越来越大,修改方法如下 进入容器,复制/var/www/onlyoffice/documentserver/web-apps/apps/documenteditor/main/app.js 打开文

    2024年02月09日
    浏览(45)
  • Hudi0.14.0集成Spark3.2.3(Spark Shell方式)

    1.1 启动Spark Shell

    2024年01月24日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包