Spark大数据处理学习笔记(3.2.2)掌握RDD算子

这篇具有很好参考价值的文章主要介绍了Spark大数据处理学习笔记(3.2.2)掌握RDD算子。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

衔接上文:http://t.csdn.cn/Z0Cfj


三、掌握行动算子

3.1 归约算子 - reduce()

功能:文章来源地址https://www.toymoban.com/news/detail-480825.html

  • reduce()算子按照传入的函数进行归约计算

案例:

  • 计算1 + 2 + 3 + …+100的值Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 计算1 × 2 × 3 × 4 × 5 × 6 的值(阶乘 - 累乘)
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 计算12 + 22 + 32 + 42 + 5**2的值(先映射,后归约)
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.2 采集算子 - collect()

功能:

  • collect()算子向Driver以数组形式返回数据集的所有元素。通常对于过滤操作或其他返回足够小的数据子集的操作非常有用。

案例:

  • 显示RDD的全部元素
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.3 首元素算子 - first()

功能:

  • first()算子返回数据集中第一个元素

案例:

  • 显示RDD的首元素
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.4 计数算子 - count()

功能:

  • count()算子统计RDD的元素个数

案例:

  • 统计RDD的元素个数
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 如果要统计单词个数,那就要采用扁平映射算子
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.5 按键计数算子 - countByKey()

功能:

  • countByKey()算子按键统计RDD键值出现的次数,返回由键值和次数构成的映射。

案例:

  • List集合中存储的是键值对形式的元组,使用该List集合创建一个RDD,然后对其进行countByKey的计算。
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 注意:元素必须是键值对的二元组,不能是三元组
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.6 前截取算子 - take(n)

功能:

  • take(n)算子返回RDD的前n个元素(同时尝试访问最少的partitions),返回结果是无序的,测试使用
    案例:
  • 返回集合中前任意多个元素组成的数组
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 三种情况:返回空集、真子集、全集

3.7 排序前截取算子 - takeOrdered(n)[(ordering)]

功能:

  • takeOrdered(n, [ordering])算子返回RDD中的前n个元素,并以自然顺序或自定义的比较器顺序进行排序
    案例:
  • 返回RDD前n个元素(升序)
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 返回前n个元素(降序)
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 其实,可以top(n)算子来实现同样的效果,更简单
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.8 遍历算子 - foreach()

功能:

  • 计算 RDD中的每一个元素,但不返回本地(只是访问一遍数据),可以配合println友好地打印数据。
    案例:
  • 将RDD里的每个元素平方后输出(一定要采集,才能遍历)
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 将RDD的内容逐行打印输出
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

3.9 存文件算子 - saveAsFile()

功能:

  • 将RDD数据保存到本地文件或HDFS文件
    案例:
  • 将rdd内容保存到HDFS的/park/out目录
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子
  • 查看另存的结果文件
    Spark大数据处理学习笔记(3.2.2)掌握RDD算子

到了这里,关于Spark大数据处理学习笔记(3.2.2)掌握RDD算子的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Spark中Rdd算子和Action算子--学习笔记

    filter distinct groupBy groupByKey,sortBy,SortByKey rdd之间的连接 collect,take,count()类的聚合算子,saveAsTextFile, 统计算子,countByKey() countByKey().items() countByValue() , countByValue().items() 词频统计 缓存是将数据存储再内存或者磁盘上,缓存的特点是计算结束后缓存自动清空 为什么使用缓存? 提升

    2024年01月16日
    浏览(46)
  • Spark 大数据实战:基于 RDD 的大数据处理分析

    之前笔者参加了公司内部举办的一个 Big Data Workshop,接触了一些 Spark 的皮毛,后来在工作中陆陆续续又学习了一些 Spark 的实战知识。 本文笔者从小白的视角出发,给大家普及 Spark 的应用知识。 Spark 集群是基于 Apache Spark 的分布式计算环境,用于处理 大规模数据集 的计算任

    2024年01月25日
    浏览(35)
  • Spark大数据处理学习笔记(2.2)搭建Spark Standalone集群

    一、在master虚拟机上安装配置Spark 1.1 将spark安装包上传到master虚拟机 下载Spark:pyw2 进入/opt目录,查看上传的spark安装包 1.2 将spark安装包解压到指定目录 执行命令: tar -zxvf spark-3.3.2-bin-hadoop3.tgz 修改文件名:mv spark-3.3.2-bin-hadoop3 spark-3.3.2 1.3 配置spark环境变量 执行命令:vim

    2024年02月09日
    浏览(33)
  • Spark大数据处理学习笔记(2.4)IDEA开发词频统计项目

    该文章主要为完成实训任务,详细实现过程及结果见【http://t.csdn.cn/0qE1L】 从Scala官网下载Scala2.12.15 - https://www.scala-lang.org/download/2.12.15.html 安装在默认位置 安装完毕 在命令行窗口查看Scala版本(必须要配置环境变量) 启动HDFS服务 启动Spark集群 在master虚拟机上创建单词文件

    2024年02月08日
    浏览(45)
  • Spark大数据处理讲课笔记3.7 Spark任务调度

    理解DAG概念 了解Stage划分 了解RDD在Spark中的运行流程 DAG(Directed Acyclic Graph) 叫做 有向无环图 ,Spark中的RDD通过一系列的转换算子操作和行动算子操作形成了一个DAG。DAG是一种非常重要的图论数据结构。如果一个有向图无法从任意顶点出发经过若干条边回到该点,则这个图就

    2024年02月09日
    浏览(38)
  • Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集

      目录 零、本讲学习目标 一、Spark SQL (一)Spark SQL概述 (二)Spark SQL功能 (三)Spark SQL结构 1、Spark SQL架构图 2、Spark SQL三大过程 3、Spark SQL内部五大组件 (四)Spark SQL工作流程 (五)Spark SQL主要特点 1、将SQL查询与Spark应用程序无缝组合 2、Spark SQL以相同方式连接多种数据

    2024年02月09日
    浏览(53)
  • Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作

      目录 零、本讲学习目标 一、基本操作 二、默认数据源 (一)默认数据源Parquet (二)案例演示读取Parquet文件 1、在Spark Shell中演示 2、通过Scala程序演示 三、手动指定数据源 (一)format()与option()方法概述 (二)案例演示读取不同数据源 1、读取房源csv文件 2、读取json,保

    2024年02月09日
    浏览(28)
  • Spark---RDD算子(单值类型转换算子)

    RDD算子是用于对RDD进行转换(Transformation)或行动(Action)操作的方法或函数。通俗来讲,RDD算子就是RDD中的函数或者方法,根据其功能,RDD算子可以分为两大类: 转换算子(Transformation): 转换算子用于从一个RDD生成一个新的RDD,但是原始RDD保持不变。常见的转换算子包括

    2024年01月21日
    浏览(34)
  • 【Spark】RDD转换算子

    目录 map mapPartitions mapPartitionsWithIndex flatMap glom groupBy shuffle filter sample distinct coalesce repartition sortBy ByKey intersection union subtract zip partitionBy reduceByKey groupByKey reduceByKey 和 groupByKey 的区别 aggregateByKey foldByKey combineByKey reduceByKey、foldByKey、aggregateByKey、combineByKey 的区别 join leftOuterJoin

    2024年02月12日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包