Spark基于Spark Core开发了多种组件。开发人员可以基于这些组件,轻松完成多种不同场景的计算任务。
1.Spark Core介绍
Spark Core是Spark的核心,各类核心组件都依赖于Spark Core。如下图所示,Spark Core核心组件包括基础设施、存储系统、调度系统、计算引擎四个部分。
文章来源:https://www.toymoban.com/news/detail-479718.html
1)Spark基础设施
Spark基础设施为其他组件提供最基础的服务,是Spark中最底层、最常用的一类组件。文章来源地址https://www.toymoban.com/news/detail-479718.html
- SparkConf:用于定义Spark应用程序的配置信息。
- SparkContext:是Spark中的应用入口,实现了网络通信、分布式、消息机制、存储、计算、运维监控、文件系统等各类常用功能,并且封装为简单易用的API,是开发人员只需要简单的几行代码就可以实现相应功能。
- Spark RPC:基于Netty实现的Spark组件间的网络通信组件。
- ListenerBus:Spark事件监听总线,主要用于内部组件间的交互。
- MetricsSystem:Spark度量系统,用于监控整个Spark集群中各个组件的运行状态。
- SparkEnv:Spark执
到了这里,关于【Spark基础】Spark核心模块组成与功能概述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!