配置spark,并在idea中搭建项目

这篇具有很好参考价值的文章主要介绍了配置spark,并在idea中搭建项目。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

网上的普遍太久远,不太适配,记录自己的完美搭建

一、配置spark

1.配置maven(注意选择版本为3.6.3)

参考:https://blog.csdn.net/huo920/article/details/82082403
但这一步是多余的

2.下载scala(注意版本对应为2.12)

查看scala版本:scala -version
查看对应关系:https://mvnrepository.com/artifact/org.apache.spark/spark-core
配置spark,并在idea中搭建项目
安装scala参考:https://cloud.tencent.com/developer/article/1733776
官网:https://www.scala-lang.org/download/
然后选择特定的版本
配置spark,并在idea中搭建项目

3.下载spark(注意版本选择3.1.3)
不要太新了,否则spark-shell会报错,需要降低版本
https://zhuanlan.zhihu.com/p/149469688
检验:cmd中spark-shell
配置spark,并在idea中搭建项目

二、搭建idea项目

1.创建项目

由于版本较新,maven版本配置全靠自己琢磨,可惜自己没琢磨透
感谢好友@玥的热心帮助,通过直接创建项目解决问题
参考:https://blog.csdn.net/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen
注意:点击IDEA右上角放大镜左边的按钮(Project Structure),或者快捷键ctrl + shift + alt + S,点击Modules:
(要包括scala-sdk和spark的jars包:D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars)
配置spark,并在idea中搭建项目

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}

配置spark,并在idea中搭建项目
配置spark,并在idea中搭建项目

3.成果展示
配置spark,并在idea中搭建项目
4.附上测试代码
注意!!package和object test1 为自己的哈

package main.scala

object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

配置spark,并在idea中搭建项目

三、心得
完结撒花,仙女落泪QAQ

有问题可以发评论区,我看到会回复
折腾三天,理论把坑踩遍了hhh文章来源地址https://www.toymoban.com/news/detail-424578.html

到了这里,关于配置spark,并在idea中搭建项目的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在IDEA运行spark程序(搭建Spark开发环境)

           建议大家写在Linux上搭建好Hadoop的完全分布式集群环境和Spark集群环境,以下在IDEA中搭建的环境仅仅是在window系统上进行spark程序的开发学习,在window系统上可以不用安装hadoop和spark,spark程序可以通过pom.xml的文件配置,添加spark-core依赖,可以直接在IDEA中编写spark程序

    2024年02月06日
    浏览(36)
  • Maven安装与配置教程(0基础超详细,最新阿里云镜像),并在IDEA使用maven一站式解决

                    目前的最新版本为3.9.5,本文以3.9.1为例,大家自行选择版本 最好建立一个文件夹专门存放Maven相关文件,方便现在和以后进行操作和管理 我的路径地址为:D:JAVAMavenapache-maven-3.9.1-binapache-maven-3.9.1 (这个随意但是要记住) (首先先确定你的java环境已经配

    2024年02月03日
    浏览(37)
  • IDEA新建一个spark项目

    第一步:新建一个maven工程 第二部:命名工程名 第三步:新建一个文件夹,并设置为sources root 第四步:pom编写 第五步:新建一个Scala类 注意:此步可能找不到Scala,需要引入 具体步骤为 1.项目构建 2.点击+ 3.添加Scala,如果有Scala环境,会默认识别版本 最后会引入Scala,如下

    2023年04月08日
    浏览(34)
  • IDEA搭建Java Web项目及添加Web框架支持和配置Tomcat服务器(2023最新版)

     File — New — Project Java — Project SDK中选择自己的版本(这里采用1.8) —点击Next 此项不选 直接点击Next 设置项目名称之后 点击 Finish 鼠标右键项目名 — Add Frameworks Support   勾选第一项 Web Application — 点击 OK 出现web目录后即为Web框架支持添加成功   点击Add Configruation 点击添加

    2024年02月13日
    浏览(66)
  • idea配置spark环境

     1. 首先,需要准备maven的环境配置,我的idea是2021版本,(新版应该差不多) 下载maven的版本包,建议去官网下载Maven – Maven Releases History (apache.org) 建议下载版本是3.8.8 然后进入settings里的maven界面 将maven home path 设置为你下载的路径: 此时下面的version会改变 随后打开路径中

    2024年02月03日
    浏览(27)
  • IDEA中Spark配置

    scala和spark版本对应关系 :https://blog.csdn.net/qq_34319644/article/details/115555522 这里采用jdk1.8+spark3.0+scala2.12 官网:https://www.scala-lang.org/download/2.12.17.html tar -zxf scala-2.12.17.tgz vim .bashrc source .bashrc 可参考:https://blog.csdn.net/weixin_45490198/article/details/125119932

    2023年04月14日
    浏览(20)
  • IDEA配置Spark运行环境

    在IDEA中添加scala插件 创建maven项目 并添加scala的sdk 前提 :本地已安装Scala 安装Scala插件(在线) Preferences - Plugins - Browse Repositories - 搜索 scala - install 创建Maven工程 File - New - Project… - Maven - Next 引入Scala框架 所在项目(点击右键) - Add Framework Support… -选择 Scala-点击 OK 相关依赖ja

    2024年02月12日
    浏览(37)
  • IDEA2022 配置spark开发环境

    本人强烈建议在 linux环境下 学习 spark!!! Apache Spark 是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换、数据清洗、机器学习等。在本文中,我们将讨论如何在 Windows 上配置 Spark 开发环境,以及如何进行开发和测试等。 为了

    2024年02月10日
    浏览(23)
  • Intellij IDEA安装配置Spark与运行

    目录 Scala配置教程 配置Spark运行环境 编写Spark程序  1、包和导入 2、定义对象 3、主函数 4、创建Spark配置和上下文 5、定义输入文件路径 6、单词计数逻辑 7、输出结果 8、完整代码: IDEA配置Scala:教程 添加Spark开发依赖包(快捷键:Ctrl+Alt+Shift+S) 找到Spark安装目录下的jars文

    2024年04月16日
    浏览(37)
  • 2023_Spark_实验二:IDEA安装及配置

    一、下载安装包 链接:百度网盘 请输入提取码 所在文件夹:大数据必备工具--》开发工具(前端+后端)--》后端 下载文件名称:ideaIU-2019.2.3.exe (喜欢新版本也可安装新版本,新旧版本会存在部分差异) IDEA 安装 第一步,双击 ideaIU-2019.2.3.exe 安装包,出现如下页面,点击图中

    2024年02月10日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包