大数据MapReduce学习案例:数据去重

这篇具有很好参考价值的文章主要介绍了大数据MapReduce学习案例:数据去重。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


一,案例分析

(一)数据去重介绍

数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选,数据去重指去除重复数据的操作。在大数据开发中,统计大数据集上的多种数据指标,这些复杂的任务数据都会涉及数据去重。

(二)案例需求

文件file1.txt本身包含重复数据,并且与file2.txt同样出现重复数据,现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作,并最终将结果汇总到一个文件中。

编写MapReduce程序,在Map阶段采用Hadoop默认作业输入方式后,将key设置为需要去重的数据,而输出的value可以任意设置为空。

在Reduce阶段,不需要考虑每一个key有多少个value,可以直接将输入的key复制为输出的key,而输出的value可以任意设置为空,这样就会使用MapReduce默认机制对key(也就是文件中的每行内容)自动去重。

二,案例实施

(一)准备数据文件

(1)启动hadoop服务

启动hadoop服务,输入命令:start-all.sh
大数据MapReduce学习案例:数据去重

(2)在虚拟机上创建文本文件

1.在/opt/mrtxt目录下创建两个文本文件 - file4.txt、file5.txt
大数据MapReduce学习案例:数据去重
2.输入命令:vi /export/mrtxt/file4.txt,向file4添加如下内容:

2022-12-1 a
2022-12-2 b
2022-12-3 c
2022-12-4 d
2022-12-5 a
2022-12-6 b
2022-12-7 c
2022-12-3 c

3.输入命令:vi /export/mrtxt/file5.txt,向file5添加如下内容:

2022-12-1 b
2022-12-2 a
2022-12-3 b
2022-12-4 d
2022-12-5 a
2022-12-6 c
2022-12-7 d
2022-12-3 c

(3)上传文件到HDFS指定目录

1.创建/dedup/input目录,执行命令:hdfs dfs -mkdir -p /dedup/input
大数据MapReduce学习案例:数据去重
2.将两个文本文件 file4.txt与file5.txt,上传到HDFS的/dedup/input目录
大数据MapReduce学习案例:数据去重

(二)Map阶段实现

使用IntelliJ开发工具创建Maven项目Deduplicate,并且新创建net.army.mr包,在该路径下编写自定义Mapper类DeduplicateMapper,主要用于读取数据集文件将TextInputFormat默认组件解析的类似<0,2022-11-1 a >键值对修改为<2022-11-1 a,null>。

(1)创建Maven项目:Deduplicate

1.配置好如下图所示,然后单击【Create】按钮
大数据MapReduce学习案例:数据去重2.成功创建界面
大数据MapReduce学习案例:数据去重3.删除Main类,右击【Main】类,单击【Delete】
大数据MapReduce学习案例:数据去重

(2)添加相关依赖

1.在pom.xml文件里添加hadoop和junit依赖,添加内容如下:

<dependencies>                                  
    <!--hadoop客户端-->                            
    <dependency>                                
        <groupId>org.apache.hadoop</groupId>    
        <artifactId>hadoop-client</artifactId>  
        <version>3.3.4</version>                
    </dependency>                               
    <!--单元测试框架-->                               
    <dependency>                                
        <groupId>junit</groupId>                
        <artifactId>junit</artifactId>          
        <version>4.13.2</version>               
    </dependency>                               
</dependencies>                                 

大数据MapReduce学习案例:数据去重2.刷新maven,将依赖下载到本地仓库
大数据MapReduce学习案例:数据去重

(3)创建日志属性文件

1.在resources目录里创建log4j.properties文件,右击【resources】,选择【New】,单击【Resource Bundle】
大数据MapReduce学习案例:数据去重2.在弹出的对话框中输入:log4j,单击【OK】按钮
大数据MapReduce学习案例:数据去重

3.向log4j.properties文件添加如下内容:

log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/deduplicate.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

大数据MapReduce学习案例:数据去重

(4)创建去重映射器类:DeduplicateMapper

1.右击【net.army.mr】包,选择【New】,单击【Java Class】
大数据MapReduce学习案例:数据去重
2.在弹出的对话框中输入:DeduplicateMapper,按下回车键,创建成功
大数据MapReduce学习案例:数据去重
3.编写代码

package net.army.mr;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * 作者:梁辰兴
 * 日期:2022/12/14
 * 功能:去重映射器类
 */

public class DeduplicateMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    private static Text field = new Text();
    // <0,2022-12-3 c> --> <2022-12-3 c,null>
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        field = value;
        context.write(field, NullWritable.get());
    }
}

(三)Reduce阶段实现

根据Map阶段的输出结果形式,同样在net.army.mr包下,自定义Reducer类DeduplicateReducer,主要用于接受Map阶段传递来的数据,根据Shuffle工作原理,键值key相同的数据就会被合并,因此输出数据就不会出现重复数据了。

(1)创建去重归并器类:DeduplicateReducer

1.右击【net.army.mr】包,选择【New】,单击【Java Class】
大数据MapReduce学习案例:数据去重
2.在弹出的对话框中输入:DeduplicateReducer,按下回车键,创建成功
大数据MapReduce学习案例:数据去重
3.编写代码

package net.army.mr;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * 作者:梁辰兴
 * 日期:2022/12/14
 * 功能:去重归并器类
 */

public class DeduplicateReducer extends Reducer<Text, NullWritable, Text, NullWritable> {
    // <2022-12-3 c,null> <2022-12-4 d,null><2022-12-4 d,null>
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context)
            throws IOException, InterruptedException {
        context.write(key, NullWritable.get());
    }
}

(四)Driver程序主类实现

编写MapReduce程序运行主类DeduplicateDriver,主要用于设置MapReduce工作任务的相关参数,对HDFS上/dedup/input目录下的源文件实现去重,并将结果输入到HDFS的/dedup/output目录下。

(1)创建去重驱动器类:DeduplicateDriver

1.右击【net.army.mr】包,选择【New】,单击【Java Class】
大数据MapReduce学习案例:数据去重
2.在弹出的对话框中输入:DeduplicateDriver,按下回车键,创建成功
大数据MapReduce学习案例:数据去重
3.编写代码

package net.army.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.net.URI;

/**
 * 作者:梁辰兴
 * 日期:2022/12/14
 * 功能:去重驱动器类
 */

public class DeduplicateDriver {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");

        // 获取作业实例
        Job job = Job.getInstance(conf);

        // 设置作业启动类
        job.setJarByClass(DeduplicateDriver.class);

        // 设置Mapper类
        job.setMapperClass(DeduplicateMapper.class);
        // 设置map任务输出键类型
        job.setMapOutputKeyClass(Text.class);
        // 设置map任务输出值类型
        job.setMapOutputValueClass(NullWritable.class);

        // 设置Reducer类
        job.setReducerClass(DeduplicateReducer.class);
        // 设置reduce任务输出键类型
        job.setOutputKeyClass(Text.class);
        // 设置reduce任务输出值类型
        job.setOutputValueClass(NullWritable.class);

        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建输入目录
        Path inputPath = new Path(uri + "/dedup/input");
        // 创建输出目录
        Path outputPath = new Path(uri + "/dedup/output");

        // 获取文件系统
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 删除输出目录
        fs.delete(outputPath, true);

        // 给作业添加输入目录
        FileInputFormat.addInputPath(job, inputPath);
        // 给作业设置输出目录
        FileOutputFormat.setOutputPath(job, outputPath);

        // 等待作业完成
        job.waitForCompletion(true);

        // 输出统计结果
        System.out.println("======统计结果======");
        FileStatus[] fileStatuses = fs.listStatus(outputPath);
        for (int i = 1; i < fileStatuses.length; i++) {
            // 输出结果文件路径
            System.out.println(fileStatuses[i].getPath());
            // 获取文件输入流
            FSDataInputStream in = fs.open(fileStatuses[i].getPath());
            // 将结果文件显示在控制台
            IOUtils.copyBytes(in, System.out, 4096, false);
        }
    }
}

(五)运行去重驱动器类,查看结果

(1)运行DeduplicateDriver类

大数据MapReduce学习案例:数据去重

(2)下载并查看文件

1.下载文件
进入mrtxt目录,输入命令:cd /export/mrtxt
下载文件,再输入命令:hdfs dfs -get /dedup/output/part-r-00000
大数据MapReduce学习案例:数据去重
2.查看文件,输入命令:cat part-r-00000
大数据MapReduce学习案例:数据去重文章来源地址https://www.toymoban.com/news/detail-468355.html

到了这里,关于大数据MapReduce学习案例:数据去重的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python机器学习数据建模与分析——决策树详解及可视化案例

    你是否玩过二十个问题的游戏,游戏的规则很简单:参与游戏的一方在脑海里想某个事物,其他参与者向他提问题,只允许提20个问题,问题的答案也只能用对或错回答。问问题的人通过推断分解,逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似,用户输人一系

    2024年02月03日
    浏览(46)
  • 大数据Hadoop教程-学习笔记06【Hadoop生态综合案例:陌陌聊天数据分析】

    视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码:6666 【P001-P017】大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】【17p】 【P018-P037】大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】【20p】

    2024年02月02日
    浏览(48)
  • 【机器学习】最经典案例:房价预测(完整流程:数据分析及处理、模型选择及微调)

    环境:anaconda+jupyter notebook 首先要明白一点: 数据决定模型的上限!数据决定模型的上限!数据决定模型的上限! (重要的事情说三遍。)对于数据的处理在一个完整案例中花费精力的比重应该占到一半以上。 以下分为:数据分析、数据清洗两部分。 数据分析主要包括:查

    2024年02月05日
    浏览(45)
  • openGauss学习笔记-195 openGauss 数据库运维-常见故障定位案例-分析查询语句运行状态

    195.1 分析查询语句运行状态 195.1.1 问题现象 系统中部分查询语句运行时间过长,需要分析查询语句的运行状态。 195.1.2 处理办法 以操作系统用户omm登录主机。 使用如下命令连接数据库。 postgres为需要连接的数据库名称,8000为端口号。 设置参数track_activities为on。 当此参数为

    2024年01月15日
    浏览(59)
  • openGauss学习笔记-198 openGauss 数据库运维-常见故障定位案例-分析查询效率异常降低的问题

    198.1 分析查询效率异常降低的问题 198.1.1 问题现象 通常在几十毫秒内完成的查询,有时会突然需要几秒的时间完成;而通常需要几秒完成的查询,有时需要半小时才能完成。 198.1.2 处理办法 通过下列的操作步骤,分析查询效率异常降低的原因。 使用analyze命令分析数据库。

    2024年01月16日
    浏览(65)
  • 青岛大学_王卓老师【数据结构与算法】Week04_11_案例分析与实现1_学习笔记

    本文是个人学习笔记,素材来自青岛大学王卓老师的教学视频。 一方面用于学习记录与分享,另一方面是想让更多的人看到这么好的《数据结构与算法》的学习视频。 如有侵权,请留言作删文处理。 课程视频链接: 数据结构与算法基础–第04周11–2.8案例分析与实现1–多项

    2024年02月12日
    浏览(47)
  • Hadoop系统应用之MapReduce相关操作【IDEA版】---经典案例“倒排索引、数据去重、TopN”

      倒排索引是文档检索系统中最常用的数据结构,被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词(或词组)在一组文档中的存储位置的映射,提供了可以根据内容来查找文档的方式,而不是根据文档来确定内容,因此称为倒排索引(Inverted Index)。带有倒排索引

    2024年02月07日
    浏览(49)
  • 【机器学习】决策树与分类案例分析

    决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。下面就来举一个例子: 通过这一个例子我们会有一个问题,为什么女生会把年龄放在第一个呢?这就是决策树的一个思想:高效性。 为了

    2024年02月07日
    浏览(42)
  • 【信息安全案例】——网络攻击分析(学习笔记)

    📖 前言:随着信息技术的发展,网络空间的斗争可谓是兵家必争之地,网络攻击的事件层出不穷。道高一尺魔高一丈,了解常见的网络攻击类型有利于我们日后工作生活的安全稳定。 🔎 记一次Vulnstack靶场内网渗透(二) 🕤 1.2.1 欺骗攻击 利用TCP/IP协议本身的一些缺陷对

    2024年02月08日
    浏览(43)
  • 数据分析案例-顾客购物数据可视化分析

      🤵‍♂️ 个人主页:@艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 目录 1.项目背景 2.数据集介绍 3.技术工具 4.导入数据 5.数据可视化 5.1分析性别比例 5.2年龄

    2024年02月07日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包