Intellij IDEA安装配置Spark与运行

这篇具有很好参考价值的文章主要介绍了Intellij IDEA安装配置Spark与运行。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

Scala配置教程

配置Spark运行环境

编写Spark程序

 1、包和导入

2、定义对象

3、主函数

4、创建Spark配置和上下文

5、定义输入文件路径

6、单词计数逻辑

7、输出结果

8、完整代码:


Scala配置教程

IDEA配置Scala:教程

配置Spark运行环境

添加Spark开发依赖包(快捷键:Ctrl+Alt+Shift+S)

ideal中安装scala插件,配置spark,intellij-idea,spark,java

ideal中安装scala插件,配置spark,intellij-idea,spark,java

找到Spark安装目录下的jars文件夹,将整个文件夹导入 

ideal中安装scala插件,配置spark,intellij-idea,spark,java

Spark编程环境配置完成 

ideal中安装scala插件,配置spark,intellij-idea,spark,java

在com.tipdm.sparkDemo包下新建WordCount类并指定类型为object,编写spark程序实现单词计数器。

ideal中安装scala插件,配置spark,intellij-idea,spark,java

ideal中安装scala插件,配置spark,intellij-idea,spark,java

ideal中安装scala插件,配置spark,intellij-idea,spark,java

 ideal中安装scala插件,配置spark,intellij-idea,spark,java ideal中安装scala插件,配置spark,intellij-idea,spark,java

 选择Dependencies勾选Scala-sdk-2.12.15和jars

 ideal中安装scala插件,配置spark,intellij-idea,spark,java

 添加Add Content root Root

ideal中安装scala插件,配置spark,intellij-idea,spark,java

 选择jars点击ok

ideal中安装scala插件,配置spark,intellij-idea,spark,java

编写Spark程序

        在Scala的基础上(教程)

 1、包和导入

package com.tipdm.sparkDemo  
import org.apache.spark.{SparkConf, SparkContext}

 这里定义了一个包(com.tipdm.sparkDemo),并导入了SparkConfSparkContext这两个类,它们都是Apache Spark的核心组件。

2、定义对象

object WordCount {

 这里定义了一个单例对象WordCount。在Scala中,对象可以包含方法和字段,并且可以作为程序的入口点。

3、主函数

def main(args: Array[String]): Unit = {

这是程序的入口点,main函数。它接收一个字符串数组作为参数(通常用于命令行参数),并返回Unit(在Scala中,这相当于Java中的void)。

4、创建Spark配置和上下文

val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)

 首先,创建一个SparkConf对象并设置应用程序的名称为"WordCount"。然后,使用这个配置创建一个SparkContext对象,它是Spark应用程序的入口点。

5、定义输入文件路径

val input = "C:\\Users\\John\\Desktop\\words.txt"

这里定义了一个字符串变量input,它包含了要读取的文件的路径。

6、单词计数逻辑

val count = sc.textFile(input).flatMap(x => x.split(" ")).map(  
  x => (x, 1)).reduceByKey((x, y) => x + y)
* `sc.textFile(input)`:从指定的路径读取文件,并返回一个RDD(弹性分布式数据集),其中每个元素是文件中的一行。  
* `flatMap(x => x.split(" "))`:将每一行分割成单词,并扁平化结果。这意味着所有行的单词都会合并到一个单一的RDD中。  
* `map(x => (x, 1))`:为每个单词映射一个键值对,其中键是单词,值是1。这表示每个单词都出现了一次。  
* `reduceByKey((x, y) => x + y)`:对于具有相同键的所有值,执行reduce操作。在这里,它简单地将所有1相加,从而计算每个单词的出现次数。

7、输出结果

count.foreach(x => println(x._1 + "," + x._2))

使用foreach操作遍历结果RDD,并打印每个单词及其出现次数。x._1是键(单词),x._2是值(出现次数)。

整个程序会读取指定路径下的文件,计算每个单词的出现次数,并打印结果。这是一个使用Spark进行基本文本分析的常见示例。

ideal中安装scala插件,配置spark,intellij-idea,spark,java

 words.txt放在桌面了所以路径为

C:\Users\John\Desktop\words.txt

ideal中安装scala插件,配置spark,intellij-idea,spark,java

 words.txt文件内容为:

Hello World Our World
Hello BigData Real BigData
Hello Hadoop Great Hadoop
HadoopMapReduce

8、完整代码:

package com.tipdm.sparkDemo
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)
      val input = "C:\\Users\\John\\Desktop\\words.txt"
    // 计算各个单词出现次数
    val count = sc.textFile(input).flatMap(x => x.split(" ")).map(
      x => (x, 1)).reduceByKey((x, y) => x + y)
    count.foreach(x => println(x._1 + "," + x._2))
  }
}

运行成功

ideal中安装scala插件,配置spark,intellij-idea,spark,java文章来源地址https://www.toymoban.com/news/detail-853676.html

到了这里,关于Intellij IDEA安装配置Spark与运行的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • IntelliJ IDEA下基于Scala实现的Git检查工具

    本文使用Scala实现自定义的Git检查工具,读者可以基于本文的示例进行扩展与实现,也可以进行其他应用方向的尝试。 在实现Git检查工具之前需要知道程序究竟要做什么。我们知道,在管理Git分支时可以进行代码合并操作,这样可以将其他开发者提交的内容同步到当前分支中,当用

    2024年02月12日
    浏览(39)
  • IntelliJ IDEA 安装mybaits当前运行sql日志插件在线与离线安装方法

    先安装好idear 去网上找找这个安装包下载下来,注意版本要完全一致! 比如: 手动安装离线插件方法举例 提前下载好插件的安装包 可以去网上下载这个安装包 搜索离线安装包的资源,包名如下: 找到资源下载好之后解压出来如下图: 然后选择提前下载好的插件的JAR文件,

    2024年02月06日
    浏览(37)
  • IDEA中scala安装与配置(详细步骤)

    1.打开IDEA的settings,点击 Plugins (插件),点击Marketplace(市场) 搜索scala进行下载   2.点击 Restart IDE,重启IDEA即可 3.创建scala目录 4.Mark scala目录为 source root 5.在windows的电脑安装scala jdk并且配置 环境变量 6.在IDEA中指定scala的jdk  7.创建scala class 测试是否成功

    2024年02月06日
    浏览(47)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(52)
  • 在 IntelliJ IDEA 中安装 GitHub Copilot 的步骤

    在 IntelliJ IDEA 中安装 GitHub Copilot 的步骤如下: 检查IDEA版本 :确保你的 IntelliJ IDEA 版本不低于 2021.2,因为只有这个版本以上的 IDEA 才能安装 GitHub Copilot 插件。 打开IDEA并导航到插件设置 :打开 IntelliJ IDEA,点击 \\\"File\\\" - \\\"Settings\\\"(对于 macOS 用户,选择 \\\"IntelliJ IDEA\\\" - \\\"Preferences

    2024年04月26日
    浏览(40)
  • IntelliJ IDEA 安装及配置详细教程

      IntelliJ IDEA 简称 IDEA,是 Java 编程语言开发的集成环境,具有美观,高效等众多特点。在智能代码助手、代码自动提示、重构、J2EE 支持、各类版本工具(Git、SVN 等)、JUnit、CVS 整合、代码分析、创新的 GUI 设计等方面都有很好的应用。下面介绍下载安装过程:   进入

    2024年02月09日
    浏览(60)
  • 在WSL2中安装IntelliJ IDEA开发工具

    windows安装xming 添加白名单 查看服务器ip  编辑配置文件(结合自己的安装目录)     启动Xlaunh          wsl 配置并验证 X11 是 Linux 窗口管理系统,这是随它一起提供的各种应用和工具的集合,例如 xclock、xcalc 计算器、用于剪切和粘贴的 xclipboard、用于事件测试的 xev 等。   将

    2024年02月11日
    浏览(56)
  • 图文详述:IntelliJ IDEA的下载、安装、配置、使用

    事实上,我之前一直是使用的是 Eclipse ,现在正好换电脑,决定试用一下 IDEA 。如果要问我为什么会动摇想尝试一下 IDEA 呢,其实很大程度是受到同行和很多博主的影响,听到别人说好用,以及考虑到时代需求的危机感,虽说工具是死的,主要看使用它的人,但是有谁不想出

    2024年01月17日
    浏览(70)
  • (2023 最新版)IntelliJ IDEA 下载安装及配置教程

    IntelliJ IDEA 简称 IDEA,由 JetBrains 公司开发,是 Java 编程语言开发的集成环境,具有美观,高效等众多特点。在智能代码助手、代码自动提示、重构、J2EE 支持、各类版本工具(Git、SVN 等)、JUnit、CVS 整合、代码分析、创新的 GUI 设计等方面都有很好的应用。 IntelliJ IDEA 提供了

    2024年02月07日
    浏览(74)
  • Java小白必会!Intellij IDEA安装、配置及使用详细教程

    作者 :孙玉昌,昵称【 一一哥 】,另外【 壹壹哥 】也是我哦 CSDN博客专家、万粉博主、阿里云专家博主、掘金优质作者 Github: GitHub - SunLtd/LearnJava Gitee: 一一哥/从零开始学Java 所谓工欲善其事必先利其器,一个好的开发工具对工作效率得提升绝对是杠杠的!而在咱们程序

    2024年02月03日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包