WordCount 在 MapReduce上运行详细步骤

这篇具有很好参考价值的文章主要介绍了WordCount 在 MapReduce上运行详细步骤。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

注意:前提条件hadoop已经安装成功,并且正常启动。

1.准备好eclipse安装包,eclipse-jee-juno-linux-gtk-x86_64.tar.gz,使用SSH Secure File Transfer Client工具把安装包上传于Hadoop集群的名称节点。

WordCount 在 MapReduce上运行详细步骤 

2.上传Hadoop在eclipse上运行插件:haoop-eclipse-plugin-2.6.0.jar

WordCount 在 MapReduce上运行详细步骤

 文章来源地址https://www.toymoban.com/news/detail-415414.html

3.更改eclipse-jee-juno-linux-gtk-x86_64.tar.gz权限

WordCount 在 MapReduce上运行详细步骤

 

4.解压缩eclipse

WordCount 在 MapReduce上运行详细步骤

 解压后会出现eclipse文件夹,

WordCount 在 MapReduce上运行详细步骤

 

5.将eclipse插件拷贝到eclipse对应文件目录下

WordCount 在 MapReduce上运行详细步骤

 

并且进行查看是否拷贝成功:

WordCount 在 MapReduce上运行详细步骤

 

6.切换到eclipse安装目录,并且打开eclipse(启动eclipse需要在虚拟机中启动)

WordCount 在 MapReduce上运行详细步骤

 

出现以下界面表示启动成功:

WordCount 在 MapReduce上运行详细步骤

7.配置eclipse插件

点击导航栏window-->show View-->other,选中MapReduce Tools中的Map/Reduce Locations,并点击“ok”按钮。

WordCount 在 MapReduce上运行详细步骤

 

8.eclipse下面会出现Map/Reduce Locations窗口,WordCount 在 MapReduce上运行详细步骤

 

9.创建HDFS本地连接。

在Map/Reduce Locations窗口的空白处右键,

WordCount 在 MapReduce上运行详细步骤

 

选择New Hadoop location,会弹出对话框;

WordCount 在 MapReduce上运行详细步骤

 

填写配置信息:

WordCount 在 MapReduce上运行详细步骤

 

点击finish,后在eclipse界面左上角就会出现HDFS本地连接,以及可以看到HDFS上的文件结构目录。

WordCount 在 MapReduce上运行详细步骤

 

10.创建Hadoop项目,

在eclipse中点击File--->new--->other,会弹出对话框:

WordCount 在 MapReduce上运行详细步骤

 

然后找到,Map/Reduce文件夹,然后选择Map/Reduce Project。

WordCount 在 MapReduce上运行详细步骤

 

点击下一步,然后输入WordCount,并点击完成。

WordCount 在 MapReduce上运行详细步骤

在eclipse工程列表中会出现WordCount项目,

WordCount 在 MapReduce上运行详细步骤

 

创建类,

打开WordCount目录,右键点击src文件夹,选择new--->Class

WordCount 在 MapReduce上运行详细步骤

 

填写类名:WordCount,点击finish。

WordCount 在 MapReduce上运行详细步骤

 

工程目录下会出现WordCount的java文件。

WordCount 在 MapReduce上运行详细步骤

 

双击WordCount.java文件,把代码拷贝进去。

 WordCount 在 MapReduce上运行详细步骤

 

import java.io.IOException;

public class WordCount {

public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

        @Override

        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)

                throws IOException, InterruptedException {

            String line=value.toString();

            String [] words=line.split(" ");

            for(String w:words){

                context.write(new Text(w), new IntWritable(1));

            }

        }

}

public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    @Override

    protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context)

            throws IOException, InterruptedException {

            int sum = 0;

            for (IntWritable val : values) {

                sum += val.get();

            }

            result.set(sum);

            context.write(key, result);

    }

}

public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    conf.set("fs.defaultFS", "hdfs://192.168.222.100:9000");

    Job job =Job.getInstance(conf);

    job.setJarByClass(WordCount.class);

    job.setMapperClass(TokenizerMapper.class);

    job.setCombinerClass(IntSumReducer.class);

    job.setReducerClass(IntSumReducer.class);

    job.setMapOutputKeyClass(Text.class);

    job.setMapOutputValueClass(IntWritable.class);

    job.setOutputKeyClass(Text.class);

    job.setOutputValueClass(IntWritable.class);

    FileInputFormat.setInputPaths(job, new Path("/input.txt"));

    Path output=new Path("/output");

    FileSystem fs=FileSystem.get(conf);

    if(fs.exists(output)){

        fs.delete(output,true);

    }

    FileOutputFormat.setOutputPath(job, output);

    System.exit(job.waitForCompletion(true) ? 0 : 1);

}

}

 创建数据文件,

WordCount 在 MapReduce上运行详细步骤

在文件中输入内容并保存退出:

# vi input.txt

WordCount 在 MapReduce上运行详细步骤

 

上传数据文件

WordCount 在 MapReduce上运行详细步骤

 

刷新目录会发现文件上传成功:

WordCount 在 MapReduce上运行详细步骤

 

运行程序:右键程序Run as--->Run on Hadoop,运行完毕后,刷新目录如下图,

WordCount 在 MapReduce上运行详细步骤

 

到了这里,关于WordCount 在 MapReduce上运行详细步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 虚拟机+Hadoop下MapReduce的Wordcount案例

    环境:ubuntu18.04 前提:Hadoop已经搭建好 抄作业记得改标题 输入内容(可以自定义,抄作业别写一样的) yarn-site.xml 内容如下,注意第一个property要改: ·输入hadoop classpath(任意路径下均可),将返回的内容复制在第一个property的value中 *修改配置文件之后要重启hadoop(关了又

    2024年02月07日
    浏览(51)
  • YARN On Mapreduce搭建与wordCount案例实现

    YARN的基本思想是将资源管理RM,和作业调度、监控功能拆分成单独的守护进程。这个思想中拥有一个全局的资源管理器以及每个应用的MASTER,AM。每一个应用 都是单个作业或者一个DAG作业。 架构图: mapred-site.xml yarn-site.xml 配置节点分发到其他节点。 启动yarn 启动rm资源管理 访

    2023年04月24日
    浏览(36)
  • hadoop 学习:mapreduce 入门案例一:WordCount 统计一个文本中单词的个数

    这个案例的需求很简单 现在这里有一个文本wordcount.txt,内容如下 现要求你使用 mapreduce 框架统计每个单词的出现个数  这样一个案例虽然简单但可以让新学习大数据的同学熟悉 mapreduce 框架 (1)创建一个 maven 工程,maven 工程框架可以选择quickstart (2)在properties中添加 had

    2024年02月11日
    浏览(43)
  • 大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!)

    Linux搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群) 本文所用到的版本号: CentOS7 Hadoop3.2.0 JDK1.8 基本概念及重要性 很多小伙伴部署集群用hadoop用mapreduce,却不知道到底部署了什么,有什么用。在部署集群之前先给大家讲一下Hadoop和MapReduce的基本概念,以及它们在大

    2024年02月04日
    浏览(46)
  • 抖音商品上架有攻略:详细介绍步骤与注意事项

    抖音是一款非常流行的短视频分享平台,也是一个非常适合进行商品销售的平台。上架商品是在抖音上进行电商销售的重要一环,下面不若与众将介绍抖音商品的上架流程和注意事项。   1. 注册账号和认证:首先,你需要在抖音平台上注册一个账号。如果你是一个商家,建议

    2024年02月13日
    浏览(57)
  • 在CentOS 7上安装MySQL 5.7的详细步骤和注意事项

    目录 前言  一、更新系统 二、下载MySQL存储库 三、安装MySQL存储库 四、安装MySQL服务器  五、启动MySQL服务 六、配置MySQL 七、验证MySQL安装 八、登录MySQL 九、配置远程访问(可选) 1. 在MySQL shell中创建新用户 2. 授予新用户远程访问权限  3. 更新更改  十、重新启动MySQL服务

    2024年02月11日
    浏览(52)
  • jenkins运行本地python文件配置详细步骤

    1.首先在jenkins里创建一个项目 2.前期准备:需要先在dos窗口命令行中跑通脚本 一级一级找到需要运行的脚本地址 命令解释: F:          切换至F盘 dir         查看F盘下的文件和文件夹 cd python          进入python文件夹中 dir           查看python文件夹中的文件 python g

    2024年04月16日
    浏览(47)
  • 风格迁移CycleGAN开源项目代码运行步骤详细教程

       最近在学习Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks这篇论文,论文下载地址,想要复现一下文中的代码,过程中遇到了很多问题,因此记录下来。遇到其他问题欢迎在评论区留言,相互解答。 如果没有安装Anaconda或者MIniconda的可以先安装,并学一下

    2024年02月02日
    浏览(27)
  • idea配置jdbc连接MySQL的全部详细步骤(包含运行代码)

    读者手册(必读)_云边的快乐猫的博客-CSDN博客 一、导包 1. 打开 idea ,在左上角找到当前使用的这个模块,右键打开新建一个 Directory   2. 这个目录包命名为 lib 3. 在本地磁盘中找到下载的MySQL的这个jar包,点击ctrl +c复制,ctrl+v粘贴到这个lib里面点击ok就好了   4. 这样就完成

    2024年02月11日
    浏览(47)
  • IDEA若依框架入门(前后端分离版本) 0基础详细步骤代码导入运行

    若依官网:http://ruoyi.vip (这些准备工作,都会在其他章节持续更新相应操作步骤的奥~请关注我❤) JDK = 1.8 (推荐1.8版本) Mysql = 5.7.0 (推荐5.7版本) Redis = 3.0 Maven = 3.0 Node = 12 官网地址:https://gitee.com/y_project/RuoYi-Vue 1.可以点击克隆/下载,直接导出。下载后解压即可导入IDEA使用

    2024年02月09日
    浏览(65)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包