文章来源地址https://www.toymoban.com/news/detail-424152.html
目录
WordCount案例：
需求分析与步骤：
拆分：
聚合：
格式转化：
方法1：
方法2：
排序：
方法1：
方法2：
取top3：
整体化简后的代码：
WordCoount案例升级：
给定数据：
方法1：
方法2：
方法3：
并行集合：
WordCount案例：
需求分析与步骤：
拆分：
val list: List[String] = stringList.flatMap((s) => {
s.split(" ")
})聚合：
聚合过程较为繁琐，分为以下几步：
（1）先将切割后的List集合转变成二元组并且value设置为1
val tuples: List[(String, Int)] = list.map(s => (s, 1))
（2）对现在的二元组进行分组（相同的key）
val map: Map[String, List[(String, Int)]] = tuples.groupBy(tuple => tuple._1)
格式转化：
方法1：
通过map映射映射成我们需要的形式
val map1: Map[String, Int] = map.map(tuple => (tuple._1, tuple._2.size))
方法2：
方法2使用的是value特定的函数
val map2: Map[String, Int] = map.mapValues(value => value.size)
排序：
方法1：
现在的集合是Map集合，需要排序所以要转换成List再调用排序函数（sortBy方法）
val list1: List[(String, Int)] = map2.toList
val tuples1: List[(String, Int)] = list1.sortBy(map1 => map1._2).reverse方法2：
采用sortWith方法：
val list2: List[(String, Int)] = list1.sortWith((map1l, map2r) => map1l._2 > map2r._2)
取top3：
val list3: List[(String, Int)] = list2.take(3)
整体化简后的代码：
val tuples1: List[(String, Int)] = stringList.map(_.split(" "))
.flatten
.map(s => (s, 1))
.groupBy( _._1)
.map(tuple => (tuple._1, tuple._2.size))
.toList
.sortBy(_._2)(Ordering[Int].reverse)
.take(3)WordCoount案例升级：
给定数据：
val tupleList = List(("Hello Scala Spark World", 4), ("Hello Scala Spark", 3), ("Hello Scala", 2), ("Hello", 1))
与上述数据不同
方法1：
方法一就是把数据打散变成普通版数据再按照普通版数据进行操作
（1）切割与扁平化：
val list1: List[String] = list.flatMap(s => {
s.split(" ")
})（2）将集合中方法都改变结构变成二元组（value=1）
val tuples: List[(String, Int)] = list1.map(s => (s, 1))
（3）按照key进行分组
val map: Map[String, List[(String, Int)]] = tuples.groupBy(tup => tup._1)
（4）通过map进行格式转换成最终格式
val list2: List[(String, Int)] = map.map(tp => (tp._1, tp._2.size))
（5）转换成List集合并且进行排序取前三（按业务要求）
.toList
.sortWith((tpl, tpr) => tpl._2 > tpr._2)
.take(3)总结：上述方法理解简单，但是比较消耗内存 当每个字符串的次数较大时 是非常消耗内存的，消耗时间
方法2：
方法2采取的是不打散策略，直接使用聚合的策略
（1）对集合进行切割并且转换成元组（key,value）
val list3: List[List[(String, Int)]] = tupleList.map(s => {
val strings: Array[String] = s._1.split(" ")
val list: List[String] = strings.toList
list.map(list => {
(list, s._2)
})
}
)（2）进行扁平化
val flatten: List[(String, Int)] = list3.flatten
（3）进行分组
val map1: Map[String, List[(String, Int)]] = flatten.groupBy(tuple => tuple._1)
（4）对value值进行改变 改变为我们需要的格式
val map2: Map[String, Int] = map1.mapValues(value => value.map(tuple => tuple._2).sum)
方法3：
方法3是在我们分组的基础之上对value进行调用归约函数，直接对value进行累加
val map3: Map[String, Int] = map.mapValues(value => value.foldLeft(0)((res, elem) => res + elem._2))
并行集合：
并行集合涉及多线程文章来源：https://www.toymoban.com/news/detail-424152.html
集合终于终结了！！！！！
到了这里，关于Scala之集合（3）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
