1、什么是SparkSession
SparkSession是Apache Spark 2.0版本引入的一个编程接口,用于与Spark进行交互。它是Spark应用程序的入口点,提供了一种方便的方式来创建DataFrame、DataSet和SQLContext等数据结构,并且可以配置各种Spark应用程序的选项。SparkSession还管理了Spark应用程序的运行环境,包括Spark集群的连接,以及将数据加载到内存中进行处理等任务。
2、创建SparkSession的几种方法
在Scala中,创建SparkSession有以下几种方法:
先引入SparkSession类
import org.apache.spark.sql.SparkSession
(1) 使用默认配置创建SparkSession:
val spark = SparkSession.builder().appName("SparkDemo").getOrCreate()
appName用于设置名称
(2) 指定Master和AppName创建SparkSession
val spark = SparkSession.builder()
.appName("SparkDemo")
.master("local[*]")
.getOrCreate()
master(“local[*]”) 表示本地运行
(3) 添加自定义配置项创建SparkSession
val spark = SparkSession.builder()
.appName("SparkDemo")
.config("spark.driver.allowMultipleContexts", "true")
.getOrCreate()
(4) 指定Spark集群的连接信息创建SparkSession文章来源:https://www.toymoban.com/news/detail-418807.html
val spark = SparkSession.builder()
.appName("SparkDemo")
.config("spark.master", "spark://192.168.1.2:7077")
.getOrCreate()
(5) 操作hive方式文章来源地址https://www.toymoban.com/news/detail-418807.html
val spark = SparkSession.builder()
.appName("SparkDemo")
.master("local")
.enableHiveSupport()
.getOrCreate()
到了这里,关于大数据Spark SparkSession的3种创建方式 Scala语言实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!