MapReduce程序实现词频统计
- 实验目的
1） 理解Hadoop中MapReduce模块的处理逻辑；
2）熟悉MapReduce编程；
- 实验平台
操作系统：Linux
工具：Eclipse或者Intellij Idea等Java IDE
- 实验内容
1） 在电脑上新建文件夹input，并input文件夹中创建三个文本文件：file1.txt,file2.txt,file3.txt。三个文本文件的内容分别是：
file1.txt: hello dblab world
file2.txt: hello dblab hadoop
file3.txt: hello mapreduce
2） 启动hadoop伪分布式，将input文件夹上传到HDFS上
3） 编写mapreduce程序，实现单词出现次数统计（MapReduce的程序可以用Eclipse编译运行或使用命令行编译打包运行，使用其中一种即可）。统计结果保存到hdfs的output文件夹。
- 实验代码和结果（截图展示）
(1在local下创建input文件夹，同时修改权限，再修改里面的文本文件。
(2) 启动hadoop伪分布式，将input文件夹上传到HDFS上
（3）编写mapreduce程序，实现单词出现次数统计（MapReduce的程序可以用Eclipse编译运行或使用命令行编译打包运行，使用其中一种即可）。统计结果保存到hdfs的output文件夹
配置好参数之后，运行如下图：
可以看见左边的MapReduce中有了output的文件夹。里面包含了程序运行之后的信息。文章来源：https://www.toymoban.com/news/detail-486008.html
文章来源地址https://www.toymoban.com/news/detail-486008.html
- 遇到的问题及如何解决
到了这里，关于《大数据系统与编程》MapReduce程序实现词频统计实验报告的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
