目录
使用join连接两个RDD
用zip组合两个RDD
使用combineByKey合并相同键的值
计算学生平均成绩
使用join连接两个RDD
选取rdd1与rdd2共有的键进行连接,
因为k3键只在rdd1中,rdd2中没有k3,所以k3不进行连接
同理:
用zip组合两个RDD
这里要求两个RDD的partition(分区)数量以及元素数量都相同,否则会抛出异常(两个一维)
同理:一个一维,一个二维连接
使用combineByKey合并相同键的值
combineByKey用于将相同键的数据聚合,并且允许返回类型与输入数据类型不同的返回值
string类型:
int类型:
计算学生平均成绩
1、提取两个成绩表中的学号和成绩
2、将两个表进行合并
3、将两个表中相同学号的成绩进行相加,并统计科目数量(2)
4、求平均成绩文章来源:https://www.toymoban.com/news/detail-659908.html
文章来源地址https://www.toymoban.com/news/detail-659908.html
到了这里,关于【spark-Spark编程-笔记3】join、zip、combineByKey、计算学生平均成绩的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!