Spark 下载、安装与配置

这篇具有很好参考价值的文章主要介绍了Spark 下载、安装与配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


Spark 简介

Apache Spark 是一个快速的通用集群计算系统。它提供了Java, Scala, Python ,R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具:处理结构化数据的 Spark SQL,用于机器学习的 MLlib,控制图、并行图操作和计算的一组算法和工具的集合 GraphX,数据流处理 Spark Streaming。
Spark 下载、安装与配置

一,Spark 下载

1.进入spark官网:https://spark.apache.org/
Spark 下载、安装与配置
2.单击download标签,进入下载页
Spark 下载、安装与配置3.单击 spark-3.3.2-bin-hadoop3.tgz 进入版本下载页
Spark 下载、安装与配置
4.单击链接开始下载
Spark 下载、安装与配置

二,Spark 安装

1.将下载好的spark包上传到centos中
Spark 下载、安装与配置
Spark 下载、安装与配置
2.上传完成后进行解压到/opt目录中,执行命令:tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt
Spark 下载、安装与配置

三,Spark 配置

Spark环境配置

1.执行命令:vi etc/profile
Spark 下载、安装与配置

2.添加如下内容

# Spark 环境变量
export SPARK_HOME=/opt/spark-3.3.2
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

Spark 下载、安装与配置

3.执行 !wq ,保存后退出
4.更新环境变量配置,执行命令:source etc/profile
5.执行命令:spark-shell,检查配置是否成功
Spark 下载、安装与配置文章来源地址https://www.toymoban.com/news/detail-508139.html

到了这里,关于Spark 下载、安装与配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 最新版Kali Purple超详细安装及配置教程-版本简介---(附下载链接)

    目录 一、Kali Purple简介 二、官网下载Kali Purple映像 三、创建Kali Purple虚拟机 四、打开Kali Purple进行内部配置 五、内部展示         Kali Linux在庆祝十周年之际,引入了一个新的Kali Linux风味,称为 Kali Purple ,重点是防御性安全和终极SOC In-A-Box的参考架构,旨在学习、实践

    2023年04月15日
    浏览(58)
  • 【大数据】Hadoop-3.3.4完全分布式安装(包含VMware16和Ubuntu22的下载安装及配置)、搭建、配置教程,以及Hadoop基础简介

    注:本篇文章主要涉及到: HDFS (分布式文件系统)、 YARN (资源管理和调度框架)、以及 MapReduce (离线计算)。 以下就是本篇文章所采用的的架构 。 (1)HDFS架构简述 HDFS架构图 注:上述的master、slave1、slave2均是主机名(结点名),可以和本篇文章不一致,但下面所有涉

    2023年04月17日
    浏览(84)
  • idea2023版本下载安装配置与卸载详细步骤(包含运行第一个java程序教程)

    目录 前言必读 一、下载idea 先下载JDK  1.去浏览器搜索idea官网,找到官网  2.选择Download 3.点击左边的Download下载就好了 4.在本地磁盘建一个文件夹,专门用来存放idea软件的 二、安装idea  5.在本地磁盘中的下载里面找到下载的idea并双击打开 6.选择Next ​编辑 7.选择要安装的文

    2024年02月08日
    浏览(83)
  • idea2022版本下载安装配置与卸载详细步骤(包含运行第一个java程序教程)

    目录 前言必读 一、下载idea 先下载JDK  1.去浏览器搜索idea官网,找到官网  2.选择Download 3.点击左边的Download下载就好了 4.在本地磁盘建一个文件夹,专门用来存放idea软件的 二、安装idea  5.在本地磁盘中的下载里面找到下载的idea并双击打开 6.选择Next ​编辑 7.选择要安装的文

    2023年04月08日
    浏览(52)
  • Apache Doris (二十八):Doris 数据导入(六)Spark Load 1- 原理及配置

    目录 1. 基本原理  2. Spark集群搭建 2.1 Spark Standalone 集群搭建 2.2 Spark On Yarn 配置

    2024年02月16日
    浏览(33)
  • Apache JMeter 5.5 下载安装以及设置中文教程

    官方网站:Apache JMeter 官网 版本介绍: 版本中一个是Binaries,另一个是Source,一般开放源代码的软件会发布两个版本: Binaries:已经编绎好的二进制文件,可直接执行,下载解压后就可以使用。 Source:源代码文件,需要自己编绎才可以执行。 适用系统介绍: tgz和zip是两种压

    2024年02月02日
    浏览(27)
  • Postman下载安装注册登录简介&登录后界面简介

    如今,Postman的开发者已超过1000万(来自官网),选择使用Postman的原因如下: 1、简单易用 - 要使用Postman,你只需登录自己的账户,只要在电脑上安装了Postman应用程序,就可以方便地随时随地访问文件。 2、使用集合 - Postman允许用户为他们的API调用创建集合。每个集合可以创建子

    2023年04月14日
    浏览(33)
  • 04-Apache Directory Studio下载安装(LDAP连接工具)

    官网下载Apache Directory Studio 注意Apache Directory Studio依赖于jdk,对jdk有环境要求 请下载适配本机的jdk版本的Apache Directory Studio,下图为最新版下载地址 要想下载其他版本,请选择Older Versions 双击exe文件根据提示安装Apache Directory Studio 安装后启动 连接成功

    2024年02月09日
    浏览(27)
  • iperf简介与下载安装

    Iperf是一个网络性能测试工具。 Iperf可以测试TCP和UDP带宽质量。Iperf可以测量最大TCP带宽,具有多种参数和UDP特性。Iperf可以报告带宽,延迟抖动和数据包丢失。利用Iperf这一特性,可以用来测试一些网络设备如路由器,防火墙,交换机等的性能。 Iperf官方文档地址:https://ip

    2024年02月04日
    浏览(23)
  • Linux系统下Spark的下载与安装(pyspark运行示例)

    最近需要完成数据课程的作业,因此实践了一下如何安装并配置好spark 由于我想要将hadoop和spark一起使用,因此必须确定好spark的版本 Spark和Hadoop版本对应关系如下: Spark版本 Hadoop版本 2.4.x 2.7.x 3.0.x 3.2.x 可进入终端查看Hadoop版本 我这里的版本是2.7.1,因此选择下载2.4版本的

    2024年01月25日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包