大数据技术之Hadoop(一)三大框架

这篇具有很好参考价值的文章主要介绍了大数据技术之Hadoop(一)三大框架。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Hadoop是什么

  • Hadoop是一个由apache开发的分布式系统基础架构

  • 主要解决海量数据的存储和海量数据的分析计算问题。

  • 广义上来说,Hadoop通胀指一个更宽泛的概念——Hadoop生态圈

1、Hadoop优势

  1. 高可靠性:Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。

  1. 高扩展性:在集群见分配任务数据,可方便的扩展数以千计的节点。

  1. 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

  1. 高容错性:能够自动将失败的任务重新分配。

2、Hadoop1.x、2.x、3.x区别

大数据技术之Hadoop(一)三大框架

Hadoop1.x中,Hadoop的MapReduce同时处理业务逻辑运算和资源的调度,耦合性比较大。

在Hadoop2.x中增加了Yarn。Yarn负责资源的调度,MapReduc负责运算。Hadoop3.x在组成上与Hadoop2.x一致。

3、Hadoop运行模式

  • 本地模式:

单机运行,只是用来演示一下官方案例。生产环境不用。

  • 伪分布式模式:

也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。一般用来测试,生产环境不用。

  • 完全分布式模式:

多台服务器组成分布式环境。生产环境使用。

二、Hadoop三大架构

HDFS架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

大数据技术之Hadoop(一)三大框架
  • NameNode(nn):

存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限),以及每个文件的块列表块所在的DataNode等。

  • DataNode(dn):

在本地文件系统存储文件块数据,以及块数据的校验和

  • Secondary NameNode(2nn):

每隔一段时间对NameNode元数据备份

YARN架构概述

Yet Another Resource Negotiator简称YARN,是一种资源协调这,是Hadoop的资源管理器。

大数据技术之Hadoop(一)三大框架
  • ResourceManager(RM):

整个集群资源(内存、CPU等)的老大。

  • NodeManager(NM):

单个节点服务器资源老大。

  • ApplicationMaster(AM):

单个任务运行的老大。

  • Container:

容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等

【注】

  • 客户端可以有多个

  • 集群上可以运行多个ApplicationMaster

  • 每个NodeManager上可以有多个Container

MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和Reduce

  • Map阶段并行处理输入数据

  • Reduce阶段对Map结果进行汇总

大数据技术之Hadoop(一)三大框架

三、HDFS、YARN、MapReduce三者关系

客户端Client提交任务到资源管理器(ResourceManager),资源管理器接收到任务之后去NodeManager节点开启任务(ApplicationMaster),ApplicationMaster向ResourceManager申请资源,若有资源ApplicationMaster负责开启任务即MapTask。

开始干活了即分析任务,每个map独立工作,各自负责检索各自对应的DataNode,将结果记录到HDFS,DataNode负责存储,NameNode负责记录,2nn负责备份部分数据。文章来源地址https://www.toymoban.com/news/detail-444334.html

大数据技术之Hadoop(一)三大框架

四、大数据生态框架

大数据技术之Hadoop(一)三大框架

到了这里,关于大数据技术之Hadoop(一)三大框架的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MapReduce是Hadoop的一个核心组件,它是一个编程模型和计算框架

    MapReduce是Hadoop的一个核心组件,它是一个编程模型和计算框架,用于处理和生成大数据集。MapReduce模型将大数据处理任务分解为两个阶段:Map阶段和Reduce阶段。在Map阶段,输入的数据被分割成一系列的键值对,然后通过用户定义的函数进行处理,生成中间的键值对。在Reduce阶

    2024年02月03日
    浏览(37)
  • 软信天成:数据治理三大核心要素是什么?

    近年来,信息技术的快速发展和深入应用让数据获得了前所未有的增长,著名研究机构IDC预测:到2025年,全球数据预计增长至175ZB。随着数据价值的日益凸显,无数企业开始布局数字化战略转型,如何从庞杂的企业数据体现出业务价值已经被越来越多的企业所重视。 企业数据

    2024年02月05日
    浏览(49)
  • 数据库三大范式是什么,又为什么要反范式?

    🏆作者简介,黑夜开发者,CSDN领军人物,全栈领域优质创作者✌,CSDN博客专家,阿里云社区专家博主,2023年6月CSDN上海赛道top4。 🏆数年电商行业从业经验,历任核心研发工程师,项目技术负责人。 🏆本文已收录于PHP专栏:MySQL的100个知识点。 🎉欢迎 👍点赞✍评论⭐收

    2024年02月11日
    浏览(44)
  • Jmeter、postman、python 三大主流技术如何操作数据库?

    只要是做测试工作的,必然会接触到数据库 只要是做测试工作的,必然会接触到数据库,数据库在工作中的主要应用场景包括但不限于以下: 功能测试中,涉及数据展示功能,需查库校验数据正确及完整性;例如商品搜索功能 自动化测试或性能测试中,某些接口要跑通,需

    2024年02月04日
    浏览(39)
  • Jmeter/postman/python三大主流技术如何操作数据库?

    🍅 视频学习: 文末有免费的配套视频可观看 🍅  关注公众号【互联网杂货铺】,回复 1  ,免费获取软件测试全套资料,资料在手,涨薪更快 只要是做测试工作的,必然会接触到数据库,数据库在工作中的主要应用场景包括但不限于以下: 功能测试中,涉及数据展示功能

    2024年04月11日
    浏览(28)
  • 【Jmeter、postman、python 三大主流技术如何操作数据库?】

    只要是做测试工作的,必然会接触到数据库,数据库在工作中的主要应用场景包括但不限于以下: 功能测试中,涉及数据展示功能,需查库校验数据正确及完整性;例如商品搜索功能 自动化测试或性能测试中,某些接口要跑通,需要关联到数据库操作;例如注册接口中短信

    2024年02月03日
    浏览(36)
  • 大数据框架-Hadoop

    大数据是指由传统数据处理工具难以处理的规模极大、结构复杂或速度极快的数据集合。这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析,因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。 大数据的特点包括以下几个方面

    2024年02月04日
    浏览(28)
  • 智慧安防三大信息技术:云计算、大数据及人工智能在视频监控EasyCVR中的应用

    说到三大信息技术大家都很清楚,指的是云计算、大数据和人工智能,在人工智能(AI)快速发展的当下,例如常见的大数据分析、人工智能芯片生产的智能机器人等等,在工作、生活、教育、金融、科技、工业、农业、娱乐等各个领域随处可见,那么三大信息技术在智能监

    2024年02月05日
    浏览(54)
  • 2023年前端流行什么技术和框架了?

    Web前端三大主流框架 有 React、Vue.js和Angular,由于接触过Vue.js,接下来主讲 最新的 Vue 3.0 ! Vue3.0作为最新版本的Vue.js框架,拥有更强大的性能和更丰富的功能,为低代码开发平台注入了全新的活力。而JNPF快速开发平台作为其应用的典范之一,利用Vue3.0的优势,在低代码开发

    2024年02月08日
    浏览(38)
  • 一篇讲明白 Hadoop 生态的三大部件

    黎明时怀着飞扬的心醒来,致谢爱的又一天,正午时沉醉于爱的狂喜中休憩,黄昏时带着感恩归家,然后在内心为所爱的祈祷中入眠,让赞美的歌谣停留在唇间。 随着大数据时代的来临,处理和分析海量数据成为了一项重要的挑战。为了应对这一挑战,Hadoop生态系统应运而生

    2024年04月15日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包