个人安装配置sbt流程及遇到的问题

这篇具有很好参考价值的文章主要介绍了个人安装配置sbt流程及遇到的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

个人安装使用sbt流程及遇到的问题

安装流程

1、官网下载sbt , https://www.scala-sbt.org/download.html

2、测试sbt是否可用

//进入sbt目录
cd /opt/apps/sbt
./sbt sbtVison

显示无法找到,查看sbt目录发现sbt文件在bin目录下,改为

./bin/sbt sbtVersion

3、回到主目录,创建sparkapp文件夹作为应用程序根目录

cd ~
mkdir ./sparkapp
mkdir -p ./sparkapp/src/main/scala

进入sparkapp目录下查看创建情况

cd sparkapp
find .
.
./src
./src/main
./src/main/scala

4、进入/src/main/scala创建SipmleApp.scala

/*  SimpleApp.scala  */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp{
        def main(args: Array[String]){
                val logFile = "hdfs://hadoop0:9000/data/word/in/word"
                val conf = new SparkConf().setAppName("Simple Application")
                val sc = new SparkContext(conf)
                val logData = sc.textFile(logFile,2).cache()
                val numAs = logData.filter(_.contains("a")).count()
                val numBs = logData.filter(_.contains("b")).count()
                println("Lines with a: %s,Lines with b: %s".format(numAs,numBs))

        }
}

5、使用sbt对Scala程序进行打包

​ 回到sparkapp,创建simple.sbt

name := "Simple Project"
version := "1.0"
scalaVersion := "2.12.15"
libraryDependencies += "org.apache.spark" %% "spark-core" %"3.3.0"

输入命令/opt/apps/sbt/bin/sbt package,编译成功就会出现如下信息

[info] Loading project definition from /root/sparkapp/project
[info] Loading settings for project sparkapp from simple.sbt ...
[info] Set current project to Simple Project (in build file:/root/sparkapp/)
[success] Total time: 1 s, completed Oct 18, 2022 12:10:02 AM

遇到的问题

1、./bin/sbt sbtVersion命令后会开始下载

出现Getting org.Scala-sbt 1.3.8 (this may take some times)...后很长时间不动

在sbt目录下创建repositories文件,并添加

[repositories]
local
huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]

2、下载scala-2.12.10报错 error: not found: value scalaversion scalaversion := "2.12.15"

打开simple.sbt,去掉scalaVersion := "2.12.15"一行

3、编译时报错

个人安装配置sbt流程及遇到的问题

在spark官网 https://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-example 找到
个人安装配置sbt流程及遇到的问题

将simple.sbt中的libraryDependencies += "org.apache.spark" %% "spark-core" %"3.3.0"改为
libraryDependencies += "org.apache.spark" % "spark-streaming_2.12" % "3.3.0" % "provided"文章来源地址https://www.toymoban.com/news/detail-500844.html

到了这里,关于个人安装配置sbt流程及遇到的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在 VScode 终端上创建 nuxtjs 项目遇到的问题以及使用 GitHub 遇到的问题和一些个人笔记

    这篇文章是关于在vscode终端中创建 nuxtjs项目 的一些步骤,同时还包括了使用 Git、GitHub 的一些操作,以此文章作为笔记,仅供参考。(前提:已经安装nodejs、git) 关于nuxtjs、ssr、服务端渲染、nuxtjs项目结构等等相关知识点这篇文章就不多多介绍了,在后续的文章或笔记中也

    2024年02月09日
    浏览(69)
  • 【Postman】Newman安装与环境配置完整版(内含安装过程中遇到的问题与解决方案)

    Newman:一款基于nodejs开发的可以运行Postman脚本的工具,并且可以生成测试报告。 本文介绍了Newman安装全过程,包括以下三个步骤: 1、nodejs的安装与环境配置。 2、安装newman。 3、安装newman-reporter-html。 另外还有安装过程中遇到的一些问题与解决方案。 1、安装 (1)步骤 下载

    2024年02月08日
    浏览(48)
  • Jenkins在Linux环境下的安装与配置,包含遇到的问题以及解决方法

    Jenkins是一个开源软件项目,是基于Java开发的一种持续集成(CI)工具,用于解决持续重复的部署、监控工作;它一个开放易用的软件平台,大大简化软件的持续集成。 目前持续集成(CI)已成为许多软件开发团队的常见做法。它是一种实践,旨在缓和和稳固软件的构建过程,并

    2024年02月02日
    浏览(52)
  • elasticsearch安装及配置,遇到9200访问不了以及中文乱码,能访问了却要账户密码等问题

    https://www.elastic.co/cn/downloads/elasticsearch 我下载的是8.6.2 不建议下载mis会有报错问题。 下载的压缩包解压到最好是无中文目录的路径下,以免中文乱码。 解压好之后里面的目录 目录讲解 在bin目录下cmd到控制台. 在控制台输入elasticsearch就可以启动了,也可以双击bin目录下的ela

    2024年02月08日
    浏览(55)
  • IIS部署vue前端过程(含IIS及相关配置和安装),部署遇到的问题及报错(承接vueconfig.js全局配置环境变量,跨域问题)

    目录 一.IIS使用安装。 二.部署准备工作 三.部署前端(以vue为主) 四.问题与报错 1.HTTP 错误 404.0 - Not Found(需重写路由入口) 2.请求调用不了(需要重写请求地址) 3.地址显示undefined 第一步,打开“ 控制面板 ”,点击“ 网络和Internet ”。 第二步,点击左侧“ 程序 ”,然后点击

    2024年02月08日
    浏览(66)
  • Unity SpriteAtlas 打图集流程,与遇到的问题和解决方法

    在unity里面使用 SpriteAtlas ,把需要用到的游戏贴图资源,创建成对应的图集。 贴图资源没有打进包里面,如果以文本的方式打开图集,会发现文本里面关于m_PackedSprites的数组和m_PackedSpriteNamesToIndex的数组都是为空的,没有值在里面,没有值的这两个变量,是用不了对应的贴图

    2024年02月16日
    浏览(51)
  • 【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题

    系统版本:Windows 10 企业版 版本号:20H2 系统类型:64 位操作系统, 基于 x64 的处理器 处理器:Intel® Core™ i7-8700 CPU @ 3.20GHz 3.19 GHz 机带 RAM:16.0 GB 显卡:NVIDIA RTX 2070(8G) Python版本:3.10.11 文件分为两个部分: github上开源的训练、推理、以及运行demo、api的一些代码文件 hugg

    2024年01月20日
    浏览(51)
  • 记录使用nginx部署静态资源流程,以及遇到的访问静态资源404问题

    将网站静态资源(HTML,JavaScript,CSS,img等文件)与后台应用分开部署实现 动静分离 ,提高用户访问静态代码的速度,降低对后台应用访问,减轻后台服务器的压力。 这里我选择放在了 html文件夹 下,(也可以放在和html文件夹同级,或其它位置 打开 conf文件夹 打开总配置文

    2024年02月08日
    浏览(64)
  • spark入门案例以及sbt安装与打包(Linux环境)

    创作初衷:由于在这上面翻过太多的烂文章(博主自己都没搞懂就“写作抄袭”),才写下此文(已从重装系统做过3次测试,没有问题才下笔),文章属于保姆级别。 ~~~~~~~~~~~~~~~~~~~~~~~~~创作不易,转载请说明~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 本文相关的版本信息(没部署Hadoop,本文环境

    2024年02月01日
    浏览(37)
  • nacos配置中心遇到的问题

    最近在自己搭建的单机 nacos 使用中遇到的配置中心问题,这里做一个总结。 SpringCloud Alibaba 2021版 nacos 配置中心教程 SpringBoot使用spring.config.import多种方式导入配置文件 解决 Spring Cloud 2021.0.5 版本,使用 nacos 做配置中心,报 No spring.config.import property has been defined 的问题 Spring

    2024年02月07日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包