Mapreduce小试牛刀(1)-Toy模板网

这篇具有很好参考价值的文章主要介绍了Mapreduce小试牛刀(1)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.与hdfs一样，mapreduce基于hadoop框架，所以我们首先要启动hadoop服务器

---------------------------------------------------------------------------------------------------------------------------------

2.修改hadoop-env.sh位置JAVA_HOME配置，在JAVA_HOME前面加上export，重启主虚拟机，最好也把另外两个节点同位置的该配置文件改了

Mapreduce小试牛刀(1),mapreduce

如果这里不配置好JAVA_HOME变量，那么在后续运行时会出现127号报错，显示未找到JAVA_HOME

---------------------------------------------------------------------------------------------------------------------------------

3.修改内存

修改yarn-site.xml文件中的内存大小。一般来说，第一次都分配的1024mb，但是在进行mapreduce运算时，会要求至少1536mb内存。但是不要直接设置为1536mb,不要忘记操作系统也会占用内存！但是也不要设置的太大，以免把本机下爆

Mapreduce小试牛刀(1),mapreduce

---------------------------------------------------------------------------------------------------------------------------------

4.示例1

本地文档单词统计

1.在某一文件夹下，编辑一个txt文件

vi wdtest.txt

Mapreduce小试牛刀(1),mapreduce

2.上传到某一hdfs的目录下

hdfs dfs -put wdtest.txt /input

3.利用hadoop自带的包，进行单词统计

hadoop jar /home/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

系统会新建一个叫做ouput的目录收录统计结果（part-r-00000文件）

Mapreduce小试牛刀(1),mapreduce

4.利用cat命令查看统计结果

hadoop fs -cat /output/part-r-00000

Mapreduce小试牛刀(1),mapreduce

---------------------------------------------------------------------------------------------------------------------------------

5.示例2（Hadoop Streaming统计总的字节数）

输入如下代码，结果会在output2目录下显示

mapred streaming \
 -input /input \                                        
 -output /output2 \                                  
 -mapper /bin/cat \
 -reducer /usr/bin/wc

注意：要连续、完整输入这段代码，输完后会自动开始计算作业！

Mapreduce小试牛刀(1),mapreduce

输入代码，查看统计结果：

hadoop fs -cat /output2/part-00000

Mapreduce小试牛刀(1),mapreduce

分别为行数、单词数、字节数

这里采用了Hadoop Streaming工具集。Hadoop Streaming是Hadoop新推出的一个工具集。这个工具集并不是提供流式计算的功能，而是允许以命令行的方式代替千篇一律的Driver代码。但是与第一种方法相比，它并不能统计出各个单词出现的次数文章来源地址https://www.toymoban.com/news/detail-757390.html

到了这里，关于Mapreduce小试牛刀(1)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！