需求:
1、做某个文件的词频统计//某个单词在这个文件出现次数
步骤:
1、文件单词规律(空格分开)
2、单词切分
3、单词的统计
(k,v)->(k:单词,V:数量)
4、打印
框架:
1、单例对象,main()
2、创建CONF
3、创建SC-->读取文件的方式--》RDD
4、RDD进行处理
5、关闭资源
一、新建object类取名为WordCount
2、编写如下代码
3、本地运行,查看运行结果如下
解决无法下载spark与打包插件的办法
maven打包插件与spark所需依赖下载地址:
链接:百度网盘 请输入提取码
提取码:jnta
解决步骤:
0、到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:
1、将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下,如下图所示:
2、将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下,如下图所示:
3、重启idea,重新build下工程文章来源:https://www.toymoban.com/news/detail-716653.html
文章来源地址https://www.toymoban.com/news/detail-716653.html
到了这里,关于2023_Spark_实验九:Scala函数式编程部分演示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!