大数据课程K22——Spark的SparkSQL的API调用

10月前作者：伟雄分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了大数据课程K22——Spark的SparkSQL的API调用。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州

▲ 本章节目的

⚪ 掌握Spark的通过api使用SparkSQL；

一、通过api使用SparkSQL

1. 实现步骤

1. 打开scala IDE开发环境，创建一个scala工程。

2. 导入spark相关依赖jar包。

大数据课程K22——Spark的SparkSQL的API调用,大数据,spark,分布式

3. 创建包路径以object类。

4. 写代码。

5）打jar包，并上传到linux虚拟机上

6）在spark的bin目录下

执行：sh spark-submit --class cn.tedu.sparksql.Demo01 ./sqlDemo01.jar

7）最后检验

2. 代码示例

package cn.tedu.sparksql文章来源地址https://www.toymoban.com/news/detail-695723.html

到了这里，关于大数据课程K22——Spark的SparkSQL的API调用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Spark---SparkSQL介绍

Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及

2024年01月21日
浏览(45)
【spark】SparkSQL

什么是SparkSQL SparkSQL是Spark的一个模块，用于处理海量结构化数据为什么学习SparkSQL SparkSQL是非常成熟的海量结构化数据处理框架：学习SparkSQL主要在2个点： SparkSQL本身十分优秀，支持SQL语言、性能强、可以自动优化、API简单、兼容HIVE等等企业大面积在使用SparkSQL处理业务数

2024年01月20日
浏览(50)
Spark（15）：SparkSQL之DataFrame

目录 0. 相关文章链接 1. DataFrame的作用 2. 创建DataFrame 3. SQL 语法 4. DSL 语法 5. RDD 转换为 DataFrame 6. DataFrame 转换为 RDD Spark文章汇总 Spark SQL 的 DataFrame API 允许我们使用 DataFrame 而不用必须去注册临时表或者生成 SQL 表达式。DataFrame API 既有 transformation 操作也有

2024年02月13日
浏览(42)
Spark（16）：SparkSQL之DataSet

目录 0. 相关文章链接 1. DataSet的定义 2. 创建DataSet 2.1. 使用样例类序列创建 DataSet 2.2. 使用基本类型的序列创建 DataSet 2.3. 注意 3. RDD 转换为 DataSet 4. DataSet 转换为 RDD Spark文章汇总 DataSet 是具有强类型的数据集合，需要提供对应的类型信息。在实际使用的时候，很少用到

2024年02月13日
浏览(45)
【Spark精讲】一文讲透SparkSQL执行过程

逻辑计划阶段会将用户所写的 SQL语句转换成树型数据结构( 逻辑算子树 )， SQL语句中蕴含的逻辑映射到逻辑算子树的不同节点。顾名思义，逻辑计划阶段生成的逻辑算子树并不会直接提交执行，仅作为中间阶段。最终逻辑算子树的生成过程经历 3 个子阶段，分别对应未解析

2024年02月03日
浏览(35)
spark第四章：SparkSQL基本操作

spark第一章：环境安装 spark第二章：sparkcore实例 spark第三章：工程化代码 spark第四章：SparkSQL基本操作接下来我们学习SparkSQL他和Hql有些相似。Hql是将操作装换成MR，SparkSQL也是，不过是使用Spark引擎来操作，效率更高一些以上是这次博客需要的所有依赖，一次性全加上。一共

2024年02月07日
浏览(44)
spring boot java项目整合Scala&Spark，接口api调用方式调用scala代码，配置分享

版本说明： spring boot： 2.5.9 jdk：1.8 spark：2.4.5 sclala：2.11.12 首先你需要有一个完美的spring boot项目（java版本）能成功运行，这就不赘述了，按照网上的自己搭建吧，然后重要的来了，我捣鼓了两天时间，各样的报错见过了，网上的处理方法要嘛是不全，要嘛是没有用，各种办

2024年02月10日
浏览(52)
2023_Spark_实验十四：SparkSQL入门操作

1、将emp.csv、dept.csv文件上传到分布式环境，再用 hdfs dfs -put dept.csv /input/ hdfs dfs -put emp.csv /input/ 将本地文件put到hdfs文件系统的input目录下 2、或者调用本地文件也可以。区别：sc.textFile(\\\"file:///D:\\\\temp\\\\emp.csv\\\") StructType 是个case class,一般用于构建schema. 因为是case class,所以使

2024年02月08日
浏览(42)
spark中Rdd依赖和SparkSQL介绍--学习笔记

1.1概念 rdd的特性之一相邻rdd之间存在依赖关系（因果关系）窄依赖每个父RDD的一个Partition最多被子RDD的一个Partition所使用父rdd和子rdd的分区是一对一（多对一）触发窄依赖的算子 map()，flatMap()，filter() 宽依赖父RDD的一个partition会被子rdd的多个Partition所使用父rdd和子rdd的

2024年01月17日
浏览(47)
SparkSQL与Hive整合(Spark On Hive）

hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。在内嵌模式和本地模式下，metastore嵌入在主hive server进程中。但在远程模式下，metastore 和 hive

2024年02月12日
浏览(78)