使用ReduceByKey在Spark中进行词频统计-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用ReduceByKey在Spark中进行词频统计。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Spark采用Local模式运行，Spark版本3.2.0，Scala版本2.12，集成idea开发环境。

实验代码

import org.apache.spark.{SparkConf, SparkContext}

object ReduceByKey {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 并设置相关配置
    val conf = new SparkConf().setAppName("WordCountExample").setMaster("local[*]")

    // 创建 SparkContext
    val sc = new SparkContext(conf)

    // 定义要计数的单词列表
    val wordList = List("hello", "world", "hello", "spark", "world", "spark", "hello")

    // 将列表转换为RDD
    val rdd = sc.parallelize(wordList)

    rdd.foreach(v => println(v))

    // 对单词进行映射计数,相同的键进行累加
    val rdd2 = rdd.map(v => (v, 1)).reduceByKey(_ + _)

    // 打印单词计数结果
    rdd2.foreach(println)

    // 关闭 SparkContext
    sc.stop()
  }
}

在执行 reduceByKey(_ + _) 这一步后，生成的 RDD 将包含每个单词及其对应的累加值，数据结构类似于 (单词, 累加值)。

在上下文中，_ + _ 表示一个匿名函数，用于对两个相同类型的值进行相加操作。在这里，这两个值是指 reduceByKey 函数对于相同键的两个值。具体来说：

第一个 _ 表示相同键的第一个值。
第二个 _ 表示相同键的第二个值。

在这个例子中，键是单词，而值是累加的次数。所以 _ + _ 表示将相同键的值（即累加的次数）相加，以得到该键对应的总累加值。文章来源地址https://www.toymoban.com/news/detail-640824.html

实验结果

hello
hello
spark
world
world
spark
hello

(spark,2)
(hello,3)
(world,2)

到了这里，关于使用ReduceByKey在Spark中进行词频统计的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

使用ReduceByKey在Spark中进行词频统计

实验代码

实验结果

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

支付宝扫一扫领取红包，优惠每天领

二维码1

二维码2