假设您有一个包含销售订单的RDD,其中每个元素是一个键值对,其中键表示产品名称,值表示销售数量。您希望按产品名称对销售订单进行分组,并计算每个产品的总销售数量。最后,希望获得每个产品的总销售数量以及按产品名称分组的详细销售订单列表。
- 计算每个键对应的总和和计数。
- 计算每个键对应的平均值,并按降序排序。
- 打印每个键的平均值。
需求:
-
从CSV文件加载数据,CSV文件的格式如下:
A,1 B,2 A,3 C,4 B,5
-
使用
map
操作将每行数据转换为键值对形式的RDD,其中键是CSV文件的第一列,值是CSV文件的第二列。 -
使用
reduceByKey
聚合数据,计算每个键对应的总和和计数。结果形式为(键, (总和, 计数))
。 -
打印每个键对应的总和和计数。
-
计算每个键对应的平均值,即总和除以计数。文章来源:https://www.toymoban.com/news/detail-690865.html
-
按降序排序平均值,并打印排序后的结果。文章来源地址https://www.toymoban.com/news/detail-690865.html
package com.bigdata;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.
到了这里,关于7 | 计算每个键对应的平均值,并按降序排序的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!