从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构

这篇具有很好参考价值的文章主要介绍了从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. Hadoop 是什么

  • Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  • 主要解决,海量数据的存储和海量数据的分析计算问题。
  • 广义上来说,Hadoop通常是指一个更广泛的概念—Hadoop生态圈。

2. Hadoop 的优势

  • 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
    从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs
  • 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
    从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs
  • 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务粗粒速度。
    从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs
  • 高容错性:能够自动将失败的任务重新分配。
    从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs

3. Hadoop 组成(面试重点)

从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs

4. HDFS 架构概述

HDFS(Hadoop Distributed File System)的架构概述。
从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs

  • NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
  • DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。
  • Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

5. YARN架构

从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs

  • ResourceManager(RM):整个集群资源(内存、CPU等)的老大。
  • NodeManager(NM):单个节点服务器资源老大。
  • ApplicationMaster(AM):单个任务运行的老大。
  • Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

6. MapReduce 架构

MapReduce将计算过程分为两个阶段:Map和Reduce

1)Map阶段并行处理输入数据

2)Reduce阶段对Map结果进行汇总
从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs

7. 大数据技术生态体系

从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构,Hadoop,hadoop,学习,hdfs文章来源地址https://www.toymoban.com/news/detail-670865.html

到了这里,关于从零开始的Hadoop学习(二)| Hadoop介绍、优势、组成、HDFS架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 从零开始的Servlet学习介绍

    Servlet是用于Java平台上进行Web开发的一种技术,它可以接收和响应HTTP请求,并通过动态生成HTML、XML或其他格式的文档以动态地创建Web内容。这篇文章将探讨Servlet的概念、工作原理以及如何使用它来构建强大的Web应用程序。 Servlet是一种Java编程语言的API,它可以接收并处理在

    2024年02月03日
    浏览(43)
  • 基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)

    目录 前言 一.JDK的下载安装配置 1.JDK 下载 2.JDK 安装 3.JDK 环境变量配置 4.验证JDK安装是否成功 5.重点? 二.Hadoop部署以及工具集winutils 1.下载Hadoop解压/下载winutils以及\\\"安装\\\"         下载Hadoop和winutils         \\\"安装\\\"winutils 2.配置Hadoop环境变量/配置Hadoop文件 Hadoop配置环境变量

    2024年04月13日
    浏览(61)
  • 【从零开始学习CSS | 第一篇】选择器介绍

    目录 前言: 选择器介绍: 各类选择器:  总结:         本文以及后续几篇文章我们将会集中介绍CSS中的常见选择器,选择器的出现可以让我们实现对具体的元素标签进行定制,因此我们要掌握好各类选择器的使用。         在CSS(层叠样式表)中, 选择器 是一

    2024年02月15日
    浏览(62)
  • 【从零开始学习JAVA | 第十八篇】接口介绍

    目录 前言: 接口: 如何定义一个接口: 如何使用一个接口: 接口中成员的特点: 接口与类的区别:   接口的应用: 总结:         接口其实是为了弥补继承的缺点: 我们无法让父类完美的适应每一个子类的要求 。 例如我们有一个动物类的父类,有一个蝌蚪类,鱼

    2024年02月10日
    浏览(48)
  • 【如何从零基础小白开始学习C++详细介绍】

    如果你想从零基础开始学习C++并最终成为一个“大佬”级别的专家,你需要遵循一个阶段性的学习计划,并且不断练习和深入研究,下面是学习方向的学习阶段 学习编程基础 了解编程的基本概念,如变量、数据类型、运算符、控制结构(循环、条件判断)、函数等。 安装开

    2024年02月20日
    浏览(57)
  • HDFS的架构优势与基本操作

    如今,数据正以指数级增长,各行各业都在追求更多的数据存储、高效的数据处理和可靠的数据基础来驱动业务的发展。Hadoop Distributed File System(HDFS)作为Hadoop生态系统的核心组件之一,成为构建可靠的大数据基础的不二选择之一。本文将深入剖析HDFS的架构与优势。 HDFS(

    2024年03月13日
    浏览(42)
  • 【从零开始学习JAVA | 第三十一篇】异常体系介绍

            本文我们将为大家介绍一下异常的整个体系,而我们学习异常,不是为了敲代码的时候不出异常,而是为了能够熟练的处理异常,如何解决代码中的异常。  我们就以这张图作为线索来详细介绍一下Java中的异常: 在Java中, Exception(异常)是一种表示非致命错误或异

    2024年02月15日
    浏览(90)
  • 【从零开始学习JAVA | 第二十篇】常见API介绍 Math

    目录 前言:  MATH: Math类中的常用方法: 总结:                 本篇往后我们会详细介绍一些常用的API,今天我们介绍的是Math的常用方法。但是其实我们不需要记住所有的方法,在日常工作中自己学会查询API文档就可以了。 Math类是Java中提供的一个标准类, 它包含了许多

    2024年02月15日
    浏览(55)
  • 【从零开始学习JAVA | 第二十一篇】常见API介绍 System

    目录 前言: System: System类中静态方法: 总结:                 system 是一个很底层的 API,是一个工具类, 提供了一些与系统相关的方法 。他在我们写项目的时候提供了一些非常实用的方法,本篇将会介绍一些实用的system API 的方法调用。 System类是Java语言提供的一个

    2024年02月15日
    浏览(61)
  • 跟我一起从零开始学python(十)Hadoop从零开始入门

    回顾之前讲了python语法编程 ,必修入门基础和网络编程,多线程/多进程/协程等方面的内容,后续讲到了数据库编程篇MySQL,Redis,MongoDB篇,和机器学习,全栈开发,数据分析前面没看的也不用往前翻,系列文已经整理好了: 1.跟我一起从零开始学python(一)编程语法必修

    2024年02月11日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包