idea配置spark环境

这篇具有很好参考价值的文章主要介绍了idea配置spark环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 1. 首先,需要准备maven的环境配置,我的idea是2021版本,(新版应该差不多)

下载maven的版本包,建议去官网下载Maven – Maven Releases History (apache.org)

建议下载版本是3.8.8

然后进入settings里的maven界面

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

将maven home path 设置为你下载的路径:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

此时下面的version会改变

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

随后打开路径中的maven包,选择conf文件夹,选择settings.xml,用vscode打开

找到<mirror>镜像设置,注释掉原来的,添加阿里云的镜像(去浏览器搜索aliyun maven即可复制)

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

配置完成后在文件夹外多创建一个repository文件夹

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

回到idea,点击右侧的override重写

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

然后打开文件目录,第一个选择你刚刚配置的settings,第二个选择你创造的repository文件夹,

点击apply(一定要点击!!!)

然后你的maven就配置好了,最好是在最开始的idea界面配置,别打开任何的工作空间。

就是在这个界面,选择customize的all settings:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

然后创建新的project,选择maven,建立新的工作空间即可。

2.配置hadoop环境变量

由于windows与hadoop不兼容,建议去下载winutils。

项目概览 - winutils - GitCode

下载zip,选出hadoop-3.0.0版本(建议)

点击我的电脑-属性-高级系统设置-环境变量,在系统变量里新建一个系统变量,如下图:idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

然后进入Path(系统变量里的),新建一个:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

hadoop环境变量配置完成

3.spark jars包的配置

去官网下载spark的3.5.0版本(建议)

Index of /dist/spark (apache.org)

选择3.5.0-hadoop3-scala.2.13的tgz

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

下载完成后解压,随后进入idea的新project里面,打开file-project structure:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

点击library中的加号:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

先选择scala sdk,2.13.12版本:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

然后添加spark的jars包(记得选中jars文件夹):idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

然后再modules的dependencies勾选刚刚添加的两个libraries:

idea配置spark环境,java,scala,spark,maven,hadoop,intellij-idea

点击apply(一定!!!),随后点ok退出

这样就完成所有步骤了,编写spark独立应用程序吧。文章来源地址https://www.toymoban.com/news/detail-779853.html

到了这里,关于idea配置spark环境的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop(伪分布式)上的spark和Scala安装与配置详细版

    在搭建spark和Scala前提下,必需安装好hive和java,和 Hadoop的伪分布式 哦 1、安装与配置Scale        (1)去官网下载Scala         官网地址: The Scala Programming Language (scala-lang.org) https://www.scala-lang.org/ 这里我要的是scala-2.2.12.12.tgz 然后我们点击 all releases 点进去之后往下找 然后

    2024年04月28日
    浏览(48)
  • Intellij-idea 如何编译maven工程

    在 IntelliJ IDEA 中编译 Maven 工程是一个相对直接的过程。以下是基本步骤: 1. 打开或导入 Maven 项目 如果您已经有一个现有的 Maven 项目,可以直接在 IntelliJ IDEA 中打开它。选择 File Open,然后浏览到您的 Maven 项目文件夹,选择包含 pom.xml 的目录。 如果您是从现有的源代码导入

    2024年01月25日
    浏览(69)
  • Intellij-idea 如何编译maven工程*

    在 Intellij IDEA 中编译 Maven 工程的步骤如下: 打开你的 Maven 工程。如果工程已经在 IDEA 中打开,那么你可以直接进行下一步。如果没有,你可以通过 File - Open 在弹出的对话框中选择你的 Maven 工程路径进行打开。 打开 Maven 项目窗口。在 IDEA 的右边会有一个 Maven 项目的窗口,

    2024年02月02日
    浏览(64)
  • 如何在Intellij-idea如何编译maven工程

    在 IntelliJ IDEA 中编译 Maven 工程,你需要遵循以下步骤: 打开 IntelliJ IDEA :首先,启动 IntelliJ IDEA。 打开 Maven 项目 :在欢迎界面上,选择 \\\"Get from Version Control\\\",然后选择你的 Maven 项目的仓库地址。或者,如果你已经有了项目文件(如  .idea  和  pom.xml ),你可以直接打开这

    2024年01月18日
    浏览(85)
  • 用idea工具scala 和 Java开发 spark案例:WordCount

    目录 一 环境准备 二 scala代码编写 三 java 代码编写         创建一个 maven 工程         添加下列依赖         原本就下载过这些依赖的没必要再下一遍,可以用之前的,比如 json,mysql,mysq 这里版本是 mysql 5 ,不一样的注意修改                  首先准备好数据,即

    2024年02月07日
    浏览(58)
  • Idea配置Scala开发环境

    1.首先安装scala插件: File---Setting----plugins,在输入框中输入scala,然后点击“Install”即可安装scala,需要稍微等待几分钟。  2 创建项目: File ----new----project-----Maven---Next----输入名称(test)----finish. 3 配置scala运行环境: 在新建的项目上右键------“Add FrameWorkSuppor”-------选中scala-

    2024年02月13日
    浏览(36)
  • Java selenium实战:IntelliJ IDEA 创建maven项目,配置selenium+TestNG+cucumber+Allure环境

    目录 一、软件准备: 二、安装步骤: IntelliJ IDEA下载 下载安装JDK Maven下载安装 Chromedriver 三、打开百度搜索实例: IntelliJ IDEA:IntelliJ IDEA – the Leading Java and Kotlin IDE JDK:Java Downloads | Oracle Maven:https://maven.apache.org/download.cgi Maven repository: Maven Repository: Search/Browse/Explore (mvnre

    2024年02月04日
    浏览(72)
  • spring boot java项目整合Scala&Spark,接口api调用方式调用scala代码,配置分享

    版本说明: spring boot: 2.5.9 jdk:1.8 spark:2.4.5 sclala:2.11.12 首先你需要有一个完美的spring boot项目(java版本)能成功运行,这就不赘述了,按照网上的自己搭建吧,然后重要的来了,我捣鼓了两天时间,各样的报错见过了,网上的处理方法要嘛是不全,要嘛是没有用,各种办

    2024年02月10日
    浏览(49)
  • Windows下配置Hadoop及Spark环境

    教程所用各版本说明 由于项目用的JDK17,所以单独给Hadoop配了JDK11,建议直接配置JAVA_HOME环境变量为JDK11,因为后面Spark需要用到JAVA_HOME 下载JDK11 链接:https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html 目前Hadoop和Spark兼容 JDK11 和 JDK8 单独修改Hadoop的话,需要在Hadoop目

    2023年04月20日
    浏览(40)
  • idea配置spark环境

     1. 首先,需要准备maven的环境配置,我的idea是2021版本,(新版应该差不多) 下载maven的版本包,建议去官网下载Maven – Maven Releases History (apache.org) 建议下载版本是3.8.8 然后进入settings里的maven界面 将maven home path 设置为你下载的路径: 此时下面的version会改变 随后打开路径中

    2024年02月03日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包