SPARK-RDD-Toy模板网

这篇具有很好参考价值的文章主要介绍了SPARK-RDD。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、什么是RDD

1.1、RDD五大核心属性

分区列表
RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。
分区计算函数
Spark 在计算时，是使用分区函数对每一个分区进行计算
RDD之间的依赖关系
RDD 是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个 RDD 建立依赖关系。RDD之间的依赖关系又可以分为宽依赖与窄依赖
分区器
当数据为 KV 类型数据时，可以通过设定分区器自定义数据的分区
首选位置
计算数据时，可以根据计算节点的状态选择不同的节点位置进行计算，移动计算不移动数据。

2、RDD转换算子

转换算子：由一个RDD变成另一个RDD，是RDD之间的转换，是懒执行的，需要action算子触发执行

2.1、单value

map
函数说明：将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。
mapPartitions
函数说明：将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据。
mapPartitionsWithIndex
函数说明：将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据，在处理时同时可以获取当前分区索引。
flatMap
函数说明：将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射
glom
函数说明：将同一个分区的数据直接转换为相同类型的内存数组进行处理，分区不变
groupBy
函数说明：将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为 shuffle。极限情况下，数据可能被分在同一个分区中一个组的数据在一个分区中，但是并不是说一个分区中只有一个组
filter
函数说明：将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的数据丢弃。当数据进行筛选过滤后，分区不变，但是分区内的数据可能不均衡，生产环境下，可能会出现数据倾斜。
sample
函数说明：根据指定的规则从数据集中抽取数据
distinct
函数说明：将数据集中重复的数据去重
sortBy
函数说明：该操作用于排序数据。在排序之前，可以将数据通过 f 函数进行处理，之后按照 f 函数处理的结果进行排序，默认为升序排列。排序后新产生的 RDD 的分区数与原 RDD 的分区数一致。中间存在 shuffle 的过程

2.2、双value

union
函数说明：对源 RDD 和参数 RDD 求并集后返回一个新的 RDD
intersection
函数说明：对源 RDD 和参数 RDD 求交集后返回一个新的 RDD
subtract
函数说明：以一个 RDD 元素为主，去除两个 RDD 中重复元素，将其他元素保留下来。求差集
zip
函数说明：将两个 RDD 中的元素，以键值对的形式进行合并。其中，键值对中的 Key 为第 1 个 RDD中的元素，Value 为第 2 个 RDD 中的相同位置的元素。

2.3、Key-Value

reduceByKey
函数说明：可以将数据按照相同的 Key 对 Value 进行聚合
groupByKey
函数说明：将数据源的数据根据 key 对 value 进行分组
partitionBy
函数说明：将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是HashPartitioner
sortByKey
函数说明：在一个(K,V)的 RDD 上调用，K 必须实现 Ordered 接口(特质)，返回一个按照 key 进行排序的
mapValues
函数说明：在一个(K,V)的 RDD 上调用，对每一个value逐条进行转换。
join
函数说明：在类型为(K,V)和(K,W)的 RDD 上调用，返回一个相同 key 对应的所有元素连接在一起的(K,(V,W))的 RDD
leftOuterJoin
函数说明:类似于 SQL 语句的左外连接
combineByKey
函数说明：最通用的对 key-value 型 rdd 进行聚集操作的聚集函数（aggregation function）。combineByKey()允许用户返回值的类型与输入不一致。

3、RDD动作算子

行为算子：由一个RDD调用，但最后没有返回新的RDD，而是返回了其他数据类型，行为算子可以触发任务的执行，每个action算子都会触发一个job。

reduce
函数说明:聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据
collect
函数说明:在驱动程序中，以数组 Array 的形式返回数据集的所有元素
count
函数说明:返回 RDD 中元素的个数
first
函数说明:返回 RDD 中的第一个元素
take
函数说明:返回一个由 RDD 的前 n 个元素组成的数组
countByKey
函数说明:统计每种 key 的个数
save 相关算子
saveAsTextFile
saveAsObjectFile
saveAsSequenceFile
函数说明:将数据保存到不同格式的文件中
foreach
函数说明:分布式遍历 RDD 中的每一个元素，调用指定函数