Spark大数据分析与实战笔记(第一章 Scala语言基础-1)

这篇具有很好参考价值的文章主要介绍了Spark大数据分析与实战笔记(第一章 Scala语言基础-1)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

章节概要

Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是由Scala语言开发实现的,关于大数据技术,本身就是计算数据,而Scala既有面向对象组织项目工程的能力,又具备计算数据的功能,同时Spark和Scala的紧密集成,本书将采用Scala语言开发Spark程序,所以学好Scala将有助于我们更好的掌握Spark框架。

1.1 初识Scala

1.1.1 Scala的概述

Scala于2001年由洛桑联邦理工学院(EPFL)的编程方法实验室研发,它由Martin Odersky(马丁•奥德斯基)创建。目前,许多公司依靠Java进行的关键性业务应用转向或正在转向Scala,以提高其开发效率、应用程序的可扩展性和整体的可靠性。

Scala是Scalable Language的简称,它是一门多范式的编程语言,其设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。具体如下:

  1. Scala是面向对象的
    Scala是一种纯粹的面向对象语言,每一个值都是一个对象。对象的数据类型以及行为由类的特征来描述。

  2. Scala是函数式编程的
    Scala也是一种函数式语言,其函数可以作为值来使用。

  3. Scala是静态类型的
    Scala具备类型系统,通过编译时检查,保证代码的安全性和一致性。

  4. Scala是可扩展的
    Scala提供了许多独特的语言机制,它以库的方式能够轻易无缝添加新的语言结构 。

  5. Scala是可交互操作的
    Scala旨在与流行的Java进行良好的交互操作。Scala用Scala编译器把源文件编译成Java的class文件。我们可以从中调用Java类库,也同样可以从Java应用程序中调用Scala的代码。

1.1.2 Scala的下载安装

Scala语言可以运行在Windows、Linux、Mac OS等系统上。由于Scala是运行在JVM平台上的,所以安装Scala之前必须配置好JDK环境(JDK版本要求不低于1.5版本)。本书使用的JDK版本是jdk1.8。

  1. 在Windows下安装Scala
  • 下载Scala安装包。
    访问Scala官网The Scala Programming Language,单击【Download】进入下载页面,该页面可以下载最新的Scala版本。我们考虑到Scala的稳定性和Spark的兼容性,这里选择下载Scala2.11.8(下载地址为:Scala 2.11.8 | The Scala Programming Language )具体如下图所示:
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala

  • 解压Scala安装包并配置windows系统下的环境变量
    下载成功后,解压Scala的安装包scala-2.11.8.zip到自己需要的位置,并在Windows系统下配置环境变量,点击【此电脑】>【属性】>【高级系统设置】>【环境变量】,在系统变量中点击【新建】,变量值为自己解压的位置,如下图所示:
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
    在path中添加Scala的bin目录,如下图所示:
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala

  • 进入Windows命令行,输入“scala”命令,测试Scala环境是否安装成功。命令如下:

scala

如下图所示:
Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala

  1. 在Linux下安装Scala
  • 下载Scala安装包,并将安装包上传到Linux系统/export/software
  • 执行tar -zxvf scala-2.11.8.tgz -C /export/servers/命令解压安装,命令如下:
tar -zxvf scala-2.11.8.tgz -C /export/servers/
  • 在Linux系统下添加Scala环境变量
  1. 在Mac下安装Scala
  • 下载Scala安装包并解压安装包至主目录下(如果找不到主目录,则回到桌面,按⇧⌘H进入电脑主目录)。
  • 执行“open ~/.bash_profile”命令,添加Scala的环境变量。命令如下:
open ~/.bash_profile
  • 输入“scala -version”命令,查看Scala的安装情况,若终端出现Scala的版本号,则说明Scala安装成功。命令如下:
scala -version

1.1.3 在IDEA开发工具中下载安装Scala插件

目前Scala的主流开发工具主要有两种:分别是Eclipse工具和IDEA工具,我们可以在这两个开发工具中安装对应的Scala插件进行Scala开发。

由于IDEA工具可以自动识别代码错误和进行简单的修复、以及IDEA工具内置了很多优秀的插件,所以现在大多数的Scala开发程序员都会选择IDEA作为开发Scala的工具。

本书将以Windows操作系统为例,分步骤讲解如何在IDEA工具上下载安装Scala插件,具体步骤如下。

  1. 下载IDEA安装包,打开安装包进行单击【Next】按钮进行安装,直到出现”Welcome to IntelliJ IDEA“界面则安装结束。

  2. 访问“https://plugins.jetbrains.com/plugin/1347-scala”,下载Scala插件。

  3. 单击IDEA主界面右下角的【Configure】→【Plugins】→【Install plugin from disk】→【OK】→【OK】,单击【Restart】按钮,重启IDEA工具,安装结束。

注:为了电脑能更好的使用,不要将所有软件都安装在C盘,可安装到其他盘符,读者自行选择

1.1.4 开发第一个Scala程序

  1. 创建工程。在IDEA工具主界面中单击【create New Project】创建工程,如下图所示:
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala

  2. 创建包和Scala类。

  • 创建包
    选中“src”文件夹,右键选择【New】→【Package】按钮,输入包名,效果如图所示
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
  • 创建类
    选中包名,右键选择【New】→【Scala Class】,并选择【Object】类型创建Scala类,类名为“HelloWorld”,效果如下图所示:
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
  1. 在HelloWorld.scala文件中编写代码 ,代码如下。
object HelloWorld {
    def main(args: Array[String]) {
        println("Hello, world!")
    }
}
  1. 运行代码,控制台输出结果如下图所示。
    Spark大数据分析与实战笔记(第一章 Scala语言基础-1),# Spark大数据分析与实战,spark,笔记,scala
    注:IntelliJ IDEA版本不同,界面也会稍有不同,读者需根据版本自行确定。

转载自:https://blog.csdn.net/u014727709/article/details/132032236
欢迎start,欢迎评论,欢迎指正文章来源地址https://www.toymoban.com/news/detail-675346.html

到了这里,关于Spark大数据分析与实战笔记(第一章 Scala语言基础-1)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Spark大数据分析与实战笔记(第二章 Spark基础-01)

    宁愿跑起来被拌倒无数次,也不愿规规矩矩走一辈子,就算跌倒也要豪迈的笑。 Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室,它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快,而且内置了丰富的API,使得我们能够更加容易编写程序。 Spark下

    2024年02月03日
    浏览(74)
  • Spark大数据分析与实战笔记(第二章 Spark基础-03)

    又回到了原点,就从现在开始我的新生活吧。 章节概要:Spark运行架构与原理 I. 引言 A. 概述Spark B. Spark的特点和优势 II. Spark运行架构概述 A. Spark集群模式 B. Spark运行模式 C. Spark执行引擎:Spark Core D. Spark计算模块:RDD E. Spark数据抽象模块:DataFrame和Dataset F. Spark资源管理器:

    2024年02月03日
    浏览(53)
  • Spark大数据分析与实战笔记(第二章 Spark基础-04)

    “春风十里,不如你。” 这句来自现代作家安妮宝贝的经典句子,它表达了对他人的赞美与崇拜。每个人都有着不同的闪光点和特长,在这个世界上,不必去羡慕别人的光芒,自己所拥有的价值是独一无二的。每个人都有无限的潜力和能力,只要勇敢展现自己,就能在人生舞

    2024年02月03日
    浏览(73)
  • Spark大数据分析与实战笔记(第三章 Spark RDD 弹性分布式数据集-02)

    人生很长,不必慌张。你未长大,我要担当。 传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。 RDD是Spark提供的最重要的抽象概念

    2024年02月22日
    浏览(95)
  • 数据分析Pandas专栏---第一章<数据清洗>

    当我们使用爬虫从网上收集到大量的数据时,经常会面临一个重要任务:对这些数据进行清洗和整理,以便进一步分析和利用。在Python中,pandas是一个功能强大且广泛使用的数据处理库,它提供了各种灵活而高效的工具,可以方便地进行数据清洗和转换。本篇文章将重点介绍

    2024年02月21日
    浏览(45)
  • 从零开始学数据分析之——《线性代数》第一章 行列式

    三十而立之年,开始自学数据分析,工作比较清闲,现发帖记录自己的数据分析之路,数据分析要学很多的东西,经过多月的摸索,目前分两个方面开始学习: ·知识方面:数学为王,拿起书本,重学《概率与统计》、《微积分》、《线性代数》 ·软件方面:MySQL、Python 将暂

    2024年02月12日
    浏览(48)
  • 数据结构英文习题解析-第一章 算法复杂度分析Algorithm Analysis

    前言:最近快到FDS考试了,po重刷了一下学校的题目,自己整理了一些解析orz 因为po在自己找解析和学习的过程中非常痛苦,所以在此共享一下我的题目和自己写的解题思路,欢迎各位指出错误~全章节预计会陆续更新,可在专栏查看~ HW1 1. The major task of algorithm analysis is to an

    2024年03月12日
    浏览(71)
  • 企业Spark案例--酒店数据分析实战提交

    第1关:数据清洗--过滤字段长度不足的且将出生日期转: package com.yy   import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object edu{     /**********Begin**********/     // 此处可填写相关代码     case class Person(id:String,Name:String,CtfTp:String,CtfId:String,G

    2024年02月09日
    浏览(58)
  • Spark大数据分析与实战课后答案

    一、填空题 1、Scala语言的特性包含 面向对象编程 、函数式编程的、 静态类型的 、可扩展的、 可以交互操作的 。 2、在Scala数据类型层级结构的底部有两个数据类型,分别是 Nothing 和 Null 。 3、在Scala中,声明变量的有 var 声明变量和 val 声明常量。 4、在Scala中,获取

    2024年01月17日
    浏览(77)
  • Spark大数据分析与实战课后习题参考答案

    项目一: 一、选择题 DCCDAD 二、简答题 1、Hadoop MapReduce要求每个步骤间的数据序列化到磁盘,所以I/O成本很高,导致交互分析和迭代算法开销很大;Spark 提供了内存计算,把中间结果放到内存中,带来了更高的迭代运算效率。通过支持有向无环图(DAG)的分布式并行计算的编

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包