1.spark standalone环境安装

这篇具有很好参考价值的文章主要介绍了1.spark standalone环境安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

概述

环境是spark 3.2.4 hadoop版本 3.2.4,所以官网下载的包为 spark-3.2.4-bin-hadoop3.2.tgz

在具体安装部署之前,需要先下载Spark的安装包,进到 spark的官网,点击download按钮
1.spark standalone环境安装,spark,spark
1.spark standalone环境安装,spark,spark

使用Spark的时候一般都是需要和Hadoop交互的,所以需要下载带有Hadoop依赖的安装包
这个时候就需要选择Hadoop版本对应的Spark安装包
1.spark standalone环境安装,spark,spark

机器配置

注意:需要确保这几台机器上的基础环境是OK的,防火墙、免密码登录、还有JDK
因为这几台机器之前已经使用过了,基础环境都是配置过的,所以说在这就直接使用了

linux机器配置请参考此链接

机器ip 机器名
10.32.xx.142 hadoop01
10.32.xx.143 hadoop02
10.32.xx.144 hadoop03
10.32.xx.145 hadoop04

standalone 配置

主节点

先在hadoop01上进行配置

解压
# 解压
[root@hadoop01 soft]# tar -zxvf spark-3.2.4-bin-hadoop3.2.tgz

[root@hadoop01 soft]# cd  spark-3.2.4-bin-hadoop3.2
[root@hadoop01 spark-3.2.4-bin-hadoop3.2]# cd conf/
[root@hadoop01 conf]# ls
fairscheduler.xml.template  log4j.properties.template  metrics.properties.template  spark-defaults.conf.template  spark-env.sh.template  workers.template
配置spark-env.sh及workers

spark 2.x版本 从节点叫 slaves.template spark 3.x 这后叫 workers.template ,这个需要注意

# 重命名spark-env.sh.template
[root@hadoop01 conf]# mv spark-env.sh.template spark-env.sh
[root@hadoop01 conf]# vi spark-env.sh 
# 在最后加入下面两句
export JAVA_HOME=/data/soft/jdk1.8
export SPARK_MASTER_HOST=hadoop01

# 重命名workers.template
[root@hadoop01 conf]# mv workers.template workers
# 修改workers
[root@hadoop01 conf]# vi workers 

hadoop02
hadoop03
hadoop04
分发

将修改好配置的spark安装包 分发到其它worker节点,即上文所说的 hadoop02 hadoop03 hadoop04 三台机器

# 将修改好配置的spark安装包 分发到其它worker节点
[root@hadoop01 soft]#  scp -rq spark-3.2.4-bin-hadoop3.2 hadoop02:/data/soft/
[root@hadoop01 soft]#  scp -rq spark-3.2.4-bin-hadoop3.2 hadoop03:/data/soft/
[root@hadoop01 soft]#  scp -rq spark-3.2.4-bin-hadoop3.2 hadoop04:/data/soft/
启动集群

启动Spark集群

[root@hadoop01 spark-3.2.4-bin-hadoop3.2]# ls
bin  conf  data  examples  jars  kubernetes  LICENSE  licenses  NOTICE  python  R  README.md  RELEASE  sbin  yarn
[root@hadoop01 spark-3.2.4-bin-hadoop3.2]# sbin/start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /data/soft/spark-3.2.4-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop01.out
hadoop04: starting org.apache.spark.deploy.worker.Worker, logging to /data/soft/spark-3.2.4-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop04.out
hadoop03: starting org.apache.spark.deploy.worker.Worker, logging to /data/soft/spark-3.2.4-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop03.out
hadoop02: starting org.apache.spark.deploy.worker.Worker, logging to /data/soft/spark-3.2.4-bin-hadoop3.2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop02.out
验证
[root@hadoop01 spark-3.2.4-bin-hadoop3.2]# jps
10520 Master
12254 Jps

[root@hadoop02 soft]# jps
4224 Worker
7132 Jps

还可以访问主节点的8080端口来查看集群信息

1.spark standalone环境安装,spark,spark

执行任务

验证结束后,跑个 spark 任务来测试一下吧

[root@hadoop01 spark-3.2.4-bin-hadoop3.2]# bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://hadoop01:7077 examples/jars/spark-examples_2.12-3.2.4.jar 2

1.spark standalone环境安装,spark,spark

结束

这就是Spark的独立集群文章来源地址https://www.toymoban.com/news/detail-728134.html

到了这里,关于1.spark standalone环境安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Linux的Spark安装与环境配置

    因为Spark是基于Hadoop上工作的,所以当我们使用Spark框架时,必须要确保Hadoop能够正常运行: 1.1 启动hadoop 有 BUG ,内容如下: 解决方法:SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder. 1.2 再次启动hadoop 1.3 查看是否成功 2.1 下载scala 官方网址:https://www.scala-lang.org/download/2.

    2024年03月24日
    浏览(40)
  • Spark环境搭建安装及配置详细步骤(保姆教程)

    1 Spark-Local 模式  1.1 解压缩文件  将 spark-2.1.1-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩,放置在指定位置,路径中。  1.2 启动 Local 环境  1) 进入解压缩后的路径,执行如下指令   2) 启动成功后,可以输入网址进行 Web UI 监控页面访问   1.4 退出本地模式  按键 Ctrl+C 或输入

    2024年02月02日
    浏览(52)
  • 11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建

    本案例软件包:链接:https://pan.baidu.com/s/1zABhjj2umontXe2CYBW_DQ  提取码:1123(若链接失效在下面评论,我会及时更新). 目录 (1)安装Spark 1.先用xftp将安装包传到home/hadoop/Downloads文件夹下,然后解压安装。 2.解压缩: 3. 更改文件夹名称: 4.修改hadoop用户对文件夹spark的访问权限

    2024年02月06日
    浏览(45)
  • spark入门案例以及sbt安装与打包(Linux环境)

    创作初衷:由于在这上面翻过太多的烂文章(博主自己都没搞懂就“写作抄袭”),才写下此文(已从重装系统做过3次测试,没有问题才下笔),文章属于保姆级别。 ~~~~~~~~~~~~~~~~~~~~~~~~~创作不易,转载请说明~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 本文相关的版本信息(没部署Hadoop,本文环境

    2024年02月01日
    浏览(37)
  • 2023_Spark_实验一:Windows中基础环境安装

    Ⅰ、WINDOWS中安装JDK1.8 一、下载安装包 链接:百度网盘 请输入提取码 所在文件夹:根目录或者大数据必备工具--》开发工具(前端+后端)--》后端 下载文件名称:jdk-8u191-windows-x64.exe 二、安装JDK 1.现在转到下载的exe文件可用的文件夹,右键单击该文件并以管理员身份运行。将出

    2024年02月10日
    浏览(39)
  • Flink1.14 Standalone独立集群模式安装

    一、下载 在Flink 官网下载Flink 1.14,完整的安装包名是:flink-1.14.4-bin-scala_2.11.tgz。 二、master 配置 解压安装包,编辑conf/flink-conf.yaml文件: jobmanager.rpc.address 为master机器的IP,也可以是master的机器名;taskmanager.numberOfTaskSlots 为在master上运行几个taskslots,可以根据机器的配置来确

    2023年04月18日
    浏览(36)
  • 大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署

    前言:七八九用于Spark的编程实验 大数据开源框架之基于Spark的气象数据处理与分析_木子一个Lee的博客-CSDN博客_spark舆情分析 目录 实验环境: 实验步骤: 一、解压 二、配置环境变量:  三、修改配置文件  1.修改spark-env.sh配置文件: 2.修改配置文件slaves: 3.分发配置文件:

    2024年02月11日
    浏览(49)
  • CentOS 安装 Hadoop Local (Standalone) Mode 单机模式

    参考如下: 修改内容如下: 重启系统 创建软件目录 进入软件目录 下载 JDK 下载 hadoop 解压 JDK 修改名称 解压 hadoop 修改名称 配置环境变量 编写以下内容: 生成新的环境变量 创建本地秘钥并将公共秘钥写入认证文件 hadoop-env.sh core-site.xml hdfs-site.xml workers mapred-site.xml yarn-sit

    2024年02月06日
    浏览(36)
  • Flink-1.17.0(Standalone)集群安装-大数据学习系列(四)

    机器信息 Hostname k8s-master k8s-node1 k8s-node2 外网IP 106.15.186.55 139.196.15.28 47.101.63.122 内网IP 172.25.73.65 172.25.73.64 172.25.73.66 master slave1 slave2 slave3 安装Scala 从官网( The Scala Programming Language )下载 Scala版本 链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?pwd=3fws 提取码: 3fws  2.1 在集群(

    2024年02月08日
    浏览(47)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包