使用Maven对Scala独立应用程序进行编

这篇具有很好参考价值的文章主要介绍了使用Maven对Scala独立应用程序进行编。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

任务描述

本关任务:使用Scala编写一个找出README.md文件中包含'a'的行数和包含'b'的行数的程序,并使用Maven对程序进行编译打包提交到Saprk上。

相关知识

在终端中执行如下命令创建一个文件夹 sparkapp3作为应用程序根目录:

 
  1. cd ~ # 进入用户主文件夹
  2. mkdir ./sparkapp3 # 创建应用程序根目录
  3. mkdir -p ./sparkapp3/src/main/scala # 创建所需的文件夹结构

在./sparkapp3/src/main/scala下建立一个名为SimpleApp.scala的文件(vim ./sparkapp3/src/main/scala/SimpleApp.scala),添加代码如下:

 
  1. /* SimpleApp.scala */
  2. import org.apache.spark.SparkContext
  3. import org.apache.spark.SparkContext._
  4. import org.apache.spark.SparkConf
  5. object SimpleApp {
  6. def main(args: Array[String]) {
  7. val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
  8. val conf = new SparkConf().setAppName("Simple Application")
  9. val sc = new SparkContext(conf)
  10. val logData = sc.textFile(logFile, 2).cache()
  11. val numAs = logData.filter(line => line.contains("a")).count()
  12. val numBs = logData.filter(line => line.contains("b")).count()
  13. println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  14. }
  15. }

该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。不同于 Spark shell,独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext,SparkContext 的参数 SparkConf 包含了应用程序的信息。 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp3目录中新建文件pom.xml,命令如下:

 
  1. cd ~/sparkapp3
  2. vim pom.xml

然后,在pom.xml文件中添加如下内容,用来声明该独立应用程序的信息以及与Spark的依赖关系:

 
  1. <project>
  2. <groupId>cn.edu.xmu</groupId>
  3. <artifactId>simple-project</artifactId>
  4. <modelVersion>4.0.0</modelVersion>
  5. <name>Simple Project</name>
  6. <packaging>jar</packaging>
  7. <version>1.0</version>
  8. <repositories>
  9. <repository>
  10. <id>jboss</id>
  11. <name>JBoss Repository</name>
  12. <url>http://repository.jboss.com/maven2/</url>
  13. </repository>
  14. </repositories>
  15. <dependencies>
  16. <dependency> <!-- Spark dependency -->
  17. <groupId>org.apache.spark</groupId>
  18. <artifactId>spark-core_2.12</artifactId>
  19. <version>3.0.2</version>
  20. </dependency>
  21. </dependencies>
  22. <build>
  23. <sourceDirectory>src/main/scala</sourceDirectory>
  24. <plugins>
  25. <plugin>
  26. <groupId>org.scala-tools</groupId>
  27. <artifactId>maven-scala-plugin</artifactId>
  28. <executions>
  29. <execution>
  30. <goals>
  31. <goal>compile</goal>
  32. </goals>
  33. </execution>
  34. </executions>
  35. <configuration>
  36. <scalaVersion>2.12.10</scalaVersion>
  37. <args>
  38. <arg>-target:jvm-1.8</arg>
  39. </args>
  40. </configuration>
  41. </plugin>
  42. </plugins>
  43. </build>
  44. </project>

为了保证Maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

 
  1. cd ~/sparkapp3
  2. find .

文件结构应该是类似如下的内容:

 
  1. .
  2. ./pom.xml
  3. ./src
  4. ./src/main
  5. ./src/main/scala
  6. ./src/main/scala/SimpleApp.scala

接下来,我们可以通过如下代码将整个应用程序打包成JAR包(注意:计算机需要保持连接网络的状态,而且首次运行打包命令时,Maven会自动下载依赖包,需要消耗几分钟的时间):

 
  1. cd ~/sparkapp3 #一定把这个目录设置为当前目录
  2. /usr/local/maven/bin/mvn package

如果屏幕返回如下信息,则说明生成JAR包成功:

使用Maven对Scala独立应用程序进行编,java

生成的应用程序JAR包的位置为~/sparkapp3/target/simple-project-1.0.jar。如果运行Maven编译打包过程很慢,是因为需要到国外网站下载很多的依赖包,国外网站速度很慢,因此,要花费很长时间。为了加快速度,可以更改为国内的仓库地址。 最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

 
  1. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp3/target/simple-project-1.0.jar
  2. #上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
  3. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp3/target/simple-project-1.0.jar > step5.txt #结果输出到step5.txt中
  4. cat step5.txt

得到的结果如下:

 
  1. Lines with a: 71, Lines with b: 38

到此,就顺利完成 Spark 应用程序的Maven编译打包运行了。

编程要求

根据提示,完成Maven对Sacal进行打包。


开始你的任务吧,祝你成功!文章来源地址https://www.toymoban.com/news/detail-521066.html

到了这里,关于使用Maven对Scala独立应用程序进行编的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用iOS应用程序进行数据采集:从入门到实践

    随着移动互联网的普及,越来越多的数据产生于移动设备。为了更好地了解用户行为、优化产品体验,我们需要在iOS应用程序中进行数据采集。本文将指导您如何在iOS应用中实现数据采集,从基本概念到实际操作。 数据采集的基本概念与方法 a. 数据采集的目的 数据采集的主

    2024年02月10日
    浏览(52)
  • “深入理解Spring Boot:构建独立、可扩展的企业级应用程序的最佳实践“

    标题:深入理解Spring Boot:构建独立、可扩展的企业级应用程序的最佳实践 摘要:Spring Boot是一个强大的框架,可以帮助开发人员快速构建独立、可扩展的企业级应用程序。本文将深入探讨Spring Boot的核心概念和最佳实践,并通过示例代码演示其用法。 正文: 什么是Spring Bo

    2024年02月14日
    浏览(62)
  • .NET6 独立模式部署应用程序(无需客户机安装指定版本.NET运行时)

    下图对于.NET开发人员一定不陌生,尤其是CS架构,客户电脑要运行基于.NET开发的程序,无论是使用C#,还是VB.NET、F#,发布后的程序的运行环境都需要有相应版本的.NET的运行时,否则应用程序将无法正常运行。 BS架构下,在服务器上安装指定版本.NET运行时,工作量可以忽略不

    2024年02月11日
    浏览(59)
  • 【云计算】3台虚拟机完成Spark Yarn集群部署并编写Scala应用程序实现单词计数统计

    目录 1.准备环境          2.安装spark并配置环境 3.安装scala并配置环境 4.安装编辑器idea 5.编写Spark Scala应用程序实现单词计数统计 6.Spark On Yarn配置 虚拟机:vmware workstation16 linux版本:centOS 7 linux 分布式环境:hadoop 3.1.1 (1)创建三台虚拟机,并准备好linux环境和hadoop,确保h

    2023年04月15日
    浏览(46)
  • Streamlit应用程序使用Streamlit-Authenticator进行用户的安全身份验证实践(解决升级问题)

    在Streamlit官方文档中,没有提供提供安全身份验证组件。目前,第三方streamlit-authenticator提供此功能,详见引用我原来的博文,在《Streamlit应用程序使用Streamlit-Authenticator进行用户的安全身份验证实践》文中,原使用的代码报错: 报错原因是Streamlit-Authenticator包升级了,原代码

    2024年02月06日
    浏览(54)
  • 项目之利用 V4L2应用程序框架 进行视频录制

    目录 知识储备: 视频采集方式: 处理采集数据: 相关结构体: 对于设备的操作步骤:         V4L2较V4L有较大的改动,并已成为 2.6 的标准接口,函盖 videodvbFM... ,多数驱动都在向 V4l2 迁移。更好地了解 V4L2 先从应用入手,然后再深入到内核中结合物理设备/接口的规范实现

    2023年04月09日
    浏览(43)
  • Unity打包错误:无法成功进行Unity3D应用程序打包

    在Unity开发过程中,有时候会遇到各种各样的错误。其中一个常见的问题是无法成功进行Unity3D应用程序的打包。本文将探讨可能导致此错误的几种常见情况,并提供相应的解决方案。 资源文件丢失或路径错误: 打包应用程序时,确保所有所需的资源文件都存在,并且路径设

    2024年01月16日
    浏览(46)
  • C#【自动化测试】对Windows桌面应用程序进行UI自动化测试

    本文简述如何利用appium对Windows桌面应用程序进行UI自动化测试。 所谓UI自动化测试,就是 模拟一个用户,对应用程序的UI进行操作,以完成特定场景的功能性集成测试 。 要对Windows桌面应用程序进行UI自动化测试,目前可选的技术主要是两种: VS自带的CodedUI Test和Appium+WinApp

    2024年01月15日
    浏览(64)
  • C# 利用 UI 自动化框架与应用程序的用户界面进行交互来模拟点击按钮

    ①需要引入命名空间: using System.Windows.Automation; ②添加两个引用: UIAutomationClient、UIAutomationTypes 当程序已经启动时, AutoClickLoginButton 方法会寻找名为\\\"FR\\\"的应用程序进程。然后,它使用 AutomationElement.FromHandle 从该进程的主窗口句柄获取根元素。 接着, FindLoginButton 方法被调用

    2024年01月25日
    浏览(83)
  • 企业聊天应用程序使用 Kubernetes

    客户端: 在我们的架构中,客户端可以分为三种类型:iOS 和 Android 移动应用程序以及 Web 聊天。移动应用程序首先通过 API 网关服务与服务器进行通信,其中客户端会生成一个访问令牌,该令牌将授权每个通信和服务。 网络聊天也以相同的方式进行通信,并且与 Web 管理应用

    2024年02月07日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包