Hadoop - HDFS文件系统

这篇具有很好参考价值的文章主要介绍了Hadoop - HDFS文件系统。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

HDFS文件系统 

1、文件系统定义

2、大数据时代,面对海量数据,传统的文件存储系统会面临哪些挑战?

3、分布式存储系统的核心属性及功能含义

一、分布式存储的优点

二、元数据记录的功能

三、分块存储好处

四、副本机制的作用

4、HDFS简介

HDFS适用场景

5、HDFS主从架构

分块存储

副本机制

元数据管理

数据块存储

6、HDFS shell操作

常用操作:

7、HDFS工作流程与机制

主角色:NameNode

namenode职责:

从角色:datanode

datanode职责

8、HDFS读写数据的过程​​​​​​

核心概念--Pipeline管道

核心概念--ACK应答响应

默认3个副本存储策略:

写操作的整个过程:

读操作的整个过程:


HDFS文件系统 

1、文件系统定义

文件系统是一种存储和组织数据的方法,实现了数据的存储,分离组织,访问和获取等操作,使得用户对文件访问和查找变得容易。

文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念,用户不必关心数据底层存在硬盘哪里,只需要记住这个文件的所属目录和文件名即可。

文件系统通常使用硬盘和光盘这样的存储设备,并维护文件在设备中的物理位置。

    所谓传统常见的文件系统更多指的的单机的文件系统,也就是底层不会横跨多台机器实现。比如windows操作系统
上的文件系统、Linux上的文件系统、FTP文件系统等等。
    这些文件系统的共同特征包括:
        1. 带有抽象的目录树结构,树都是从/根目录开始往下蔓延;
        2. 树中节点分为两类:目录和文件;
        3. 从根目录开始,节点路径具有唯一性。 

########################################################## 

2、大数据时代,面对海量数据,传统的文件存储系统会面临哪些挑战?

成本高:

​        传统存储硬件通用性差,设备投资加上后期维护,升级扩容的成本非常高

如何支撑高效率的计算分析:

​        传统的存储方式意味着数据:存储是存储,计算是计算,当需要处理数据的时候把数据移动过来,

​        程序和数据存储是属于不同的技术厂商实现,无法有机统一整合在一起。

性能差:

​        单节点I/O性能瓶颈无法逾越,难以支撑海量数据的高并发吞吐场景。

可扩展性差:

​        无法实现快速部署和弹性扩展,动态扩容,缩容成本高,技术实现难度大。

##########################################################  

3、分布式存储系统的核心属性及功能含义

分布式存储系统核心属性

• 分布式存储

• 元数据记录

• 分块存储

• 副本机制

##########################################################  

一、分布式存储的优点

问题:数据量大,单机存储遇到瓶颈

解决:

​        单机纵向扩展:磁盘不够加磁盘,有上限瓶颈限制

​        多机横向扩展:机器不够加机器,理论上无限扩展

##########################################################  

二、元数据记录的功能

问题:

​        文件分布在不同机器上不利于寻找

解决:

​        元数据记录下文件及其存储位置信息,快速定位文件位置

 Hadoop - HDFS文件系统

##########################################################  

 

三、分块存储好处

问题:

​        文件过大导致单机存不下,上传下载效率低

解决:

​        文件分块存储在不同机器,针对块并行操作提高效率

 ########################################################## 

四、副本机制的作用

问题:

​        硬件故障难以避免,数据易丢失

解决:

​        不同机器设置备份,冗余存储,保障数据安全

 ########################################################## 

4、HDFS简介

HDFS(Hadoop Distributed File System),意为:Hadoop分布式文件系统。

是Apache Hadoop核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在,也可以说大数据首先要解决的问题就是海量数据的存储问题。

 Hadoop - HDFS文件系统

HDFS主要是解决大数据如何存储问题的,分布式意味着HDFS是横跨多台计算机上的存储系统

HDFS是一种能够在普通硬件上运行的分布式文件系统,它是高度容错的,适应于具有大数据集的应用程序,它非常适于存储大型数据(例如TB和PB)。

HDFS使用多台计算机存储文件,并且提供同一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统。

 Hadoop - HDFS文件系统

HDFS适用场景

Hadoop - HDFS文件系统

##########################################################  

5、HDFS主从架构

HDFS集群是标准的master/slave主从架构集群

一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成

Namenode是HDSF主节点,Datanode是HDFS从节点,两种角色各司其职,共同协调完成分布式的文件存储服务

官方架构图中是一主五从模式,其中五个从角色位于两个机架(RACK)的不同服务器上面。

 Hadoop - HDFS文件系统

分块存储

HDFS中的文件在物理上是分块存储的,默认大小是128M,不足128M则本身就是一块

块的大小可以通过配置参数来规定,参数位于hdfs-default.xml中:dfs.blocksize

副本机制

文件的所有block都会有副本,副本系数可以在文件创建的时候指定,也可以在之后通过命令改变

副本数由参数dfs.replication控制,默认值是3,也就是会额外再复制2份,连同本身总共3份副本

元数据管理

在HDFS中,Namenode管理的元数据具有两种类型。

文件自身属性信息

​        文件名称,权限,修改时间,文件大小,复制因子,数据块大小。

文件块位置映射信息

​        记录文件块和Datanode之间的映射信息,即哪个块位于哪个节点上。

数据块存储

文件的各个block的具体存储管理由DataNode节点管理

每一个block都可以在多个DataNode上存储

##########################################################  

6、HDFS shell操作

介绍:

​        命令行界面,是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式

​        Hadoop提供了文件系统的shell命令行客户端:hadoop fs [options]

[hadoop@node1 mapreduce]$ hadoop fs
Usage: hadoop fs [generic options]
	[-appendToFile <localsrc> ... <dst>]
	[-cat [-ignoreCrc] <src> ...]
	[-checksum [-v] <src> ...]
	[-chgrp [-R] GROUP PATH...]
	[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
	[-chown [-R] [OWNER][:[GROUP]] PATH...]
	[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
	[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
	[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
	[-createSnapshot <snapshotDir> [<snapshotName>]]
	[-deleteSnapshot <snapshotDir> <snapshotName>]
	[-df [-h] [<path> ...]]
	[-du [-s] [-h] [-v] [-x] <path> ...]
	[-expunge [-immediate] [-fs <path>]]
[hadoop@node1 local]$ hadoop fs -ls /
[hadoop@node1 local]$ hadoop fs -mkdir /test
[hadoop@node1 local]$ hadoop fs -ls /
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2023-03-28 14:03 /test
HDFS Shell CLI 支持多种文件系统,包括本地文件系统(file:///),分布式文件系统(hdfs://)

​		具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。

​		如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统。
		hadoop dfs 只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;
		hdfs dfs 只能操作HDFS文件系统相关(包括与Local FS间的操作),常用;
		hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广;
		目前版本来看,官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

常用操作:

hadoop fs -mkdir [-p] <path> ... 
	path 为待创建的目录
	-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录
hadoop fs -ls [-h] [-R] [<path> ...] 
	path 指定目录路径
	-h 人性化显示文件size
	-R 递归查看指定目录及其子目录
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
	-f 覆盖目标文件(已存在下)
	-p 保留访问和修改时间,所有权和权限。
	localsrc 本地文件系统(客户端所在机器)
	dst 目标文件系统(HDFS)
hadoop fs -cat <src> ... 
	读取指定文件全部内容,显示在标准输出控制台。
	注意:对于大文件内容读取,慎重。
hadoop fs -get [-f] [-p] <src> ... <localdst>
	下载文件到本地文件系统指定目录,localdst必须是目录
	-f 覆盖目标文件(已存在下)
	-p 保留访问和修改时间,所有权和权限。
hadoop fs -cp [-f] <src> ... <dst> 
	-f 覆盖目标文件(已存在下)
hadoop fs -mv <src> ... <dst>
	移动文件到指定文件夹下
	可以使用该命令移动数据,重命名文件的名称

##########################################################  

7、HDFS工作流程与机制

主角色:NameNode

NameNode是Hadoop分布式文件系统的核心,架构中的主角色

NameNode维护和管理文件系统元数据,包括名称空间目录树结构,文件和块的位置信息,访问权限等信息

基于此,NameNode成为了访问HDFS的唯一入口

NameNode内部通过内存和磁盘文件两种方式管理元数据。

其中磁盘上的元数据文件包括Fsimage内存元数据镜像文件和edits log(Journal)编辑日志。

namenode职责:

NameNode仅存储HDFS的元数据:文件系统中的所有文件的目录树,并跟踪整个集群中的文件,不存储实际数据

NameNode知道HDFS中任何给定文件的块列表及其位置,使用此信息NameNode知道如何从块中构建文件

NameNode不持久化存储每个文件中各个块所在的datanode的位置信息,这些信息会在系统启动时从DataNode重建

NameNode是Hadoop集群中的单点故障

NameNode所在及其通常会配置由大量内存(RAM)

从角色:datanode

DataNode是Hadoop HDFS中的从角色,负责具体的数据块存储

DataNode的数量决定了HDFS集群的整体数据存储能力,通过和NameNode配合维护这数据块

datanode职责

DataNode负责最终数据块block的存储,是集群的从角色,也称为Slave

DataNode启动时,会将自己注册到NameNode并汇报自己负责持有的块列表

当某个DataNode关闭时不会影响数据的可用性,NameNode将安排由其他DataNode管理的块进行副本复制

DataNode所在机器通常配置有大量的硬盘空间,因为实际数据存储在DataNode中。

主角色辅助角色:secondarynamenode

SecondaryNameNode充当着NameNode的辅助节点,但不能替代NameNode

主要是帮助主角色进行元数据文件的合并动作,可以理解为主角色的秘书 

Hadoop - HDFS文件系统

########################################################## 

8、HDFS读写数据的过程​​​​​​

核心概念--Pipeline管道

Pipeline,中文翻译为管道,这是HDFS在上传文件写数据过程中采用的一种数据传输方式

客户端将数据块写入第一个数据节点,第一个数据节点保存数据之后再讲块复制到第二个数据节点,后者保存后再将其复制到第三个数据节点

Hadoop - HDFS文件系统

为什么datanode之间采用pipeline线性传输,而不是一次给三个datanode拓扑式传输呢?

因为数据以管道的方式,顺序的沿着一个方向传输,这样能够充分利用每个机器的带宽,避免网络瓶颈和高延迟时的连接,最小化推送所有数据的延时

在线性推送模式下,每台机器的所有出口宽带都用于最快的速度传输数据,而不是在多个接受者之间分配宽带

核心概念--ACK应答响应

ACK(Acknowledgs character)即是确认字符,在数据通信中,接收方发送给发送方的一种传输控制字符,表示发来的数据已经确认接收无误

在HDFS pipeline管道传输数据的过程中,传输的反方向会进行ACK校验,确保数据传输安全

默认3个副本存储策略:

第一块副本:优先客户端本地,否则随机。

第二块副本:不同于第一块副本的不同机架。

第三块副本:第二块副本相同机架不同机器。

Hadoop - HDFS文件系统

写操作的整个过程:

1、HDFS客户端创建对象实例DistributedFileSystem, 该对象中封装了与HDFS文件系统操作的相关方法。

2、调用DistributedFileSystem对象的create()方法,通过RPC请求NameNode创建文件。
NameNode执行各种检查判断:目标文件是否存在、父目录是否存在、客户端是否具有创建该文件的权限。检查通过
,NameNode就会为本次请求记下一条记录,返回FSDataOutputStream输出流对象给客户端用于写数据。

3、客户端通过FSDataOutputStream输出流开始写入数据。

4、客户端写入数据时,将数据分成一个个数据包(packet 默认64k), 内部组件DataStreamer请求NameNode挑
选出适合存储数据副本的一组DataNode地址,默认是3副本存储。
DataStreamer将数据包流式传输到pipeline的第一个DataNode,该DataNode存储数据包并将它发送到pipeline的第
二个DataNode。同样,第二个DataNode存储数据包并且发送给第三个(也是最后一个)DataNode。

5、传输的反方向上,会通过ACK机制校验数据包传输是否成功;

6、客户端完成数据写入后,在FSDataOutputStream输出流上调用close()方法关闭。

7、DistributedFileSystem联系NameNode告知其文件写入完成,等待NameNode确认。
因为namenode已经知道文件由哪些块组成(DataStream请求分配数据块),因此仅需等待最小复制块即可成功返回
最小复制是由参数dfs.namenode.replication.min指定,默认是1.

Hadoop - HDFS文件系统

##########################################################  

读操作的整个过程:

读操作的整个过程:

1、HDFS客户端创建对象实例DistributedFileSystem, 调用该对象的open()方法来打开希望读取的文件。

2、DistributedFileSystem使用RPC调用namenode来确定**文件中前几个块的块位置(分批次读取)信息**。

对于每个块,namenode返回具有该块所有副本的datanode位置地址列表,并且该地址列表是排序好的,与客户端的网络拓扑距离近的排序靠前。

3、DistributedFileSystem将FSDataInputStream输入流返回到客户端以供其读取数据。

4、客户端在FSDataInputStream输入流上调用read()方法。然后,已存储DataNode地址的InputStream连接到文件

中第一个块的最近的DataNode。数据从DataNode流回客户端,结果客户端可以在流上重复调用read()。

5、当该块结束时,FSDataInputStream将关闭与DataNode的连接,然后寻找下一个block块的最佳datanode位置。这些操作对用户来说是透明的。所以用户感觉起来它一直在读取一个连续的流。

客户端从流中读取数据时,也会根据需要询问NameNode来检索下一批数据块的DataNode位置信息。

6、一旦客户端完成读取,就对FSDataInputStream调用close()方法。

Hadoop - HDFS文件系统文章来源地址https://www.toymoban.com/news/detail-400493.html

到了这里,关于Hadoop - HDFS文件系统的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop:HDFS--分布式文件存储系统

    目录   HDFS的基础架构 VMware虚拟机部署HDFS集群 HDFS集群启停命令 HDFS Shell操作 hadoop 命令体系: 创建文件夹 -mkdir  查看目录内容 -ls  上传文件到hdfs -put 查看HDFS文件内容 -cat 下载HDFS文件 -get 复制HDFS文件 -cp 追加数据到HDFS文件中 -appendToFile HDFS文件移动 -mv  删除HDFS文件 -rm  

    2024年02月09日
    浏览(59)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(48)
  • Hadoop入门学习笔记——三、使用HDFS文件系统

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 3.1.1. HDFS文件系统基本信息 HDFS和Linux系统一样,均是以 / 作为根目录的组织形式; 如何区分HDFS和Linux文件系统: Linux文件系统以 file:// 作为

    2024年01月16日
    浏览(37)
  • HDFS Hadoop分布式文件存储系统整体概述

    整体概述举例: 包括机架 rack1、rack2 包括5个Datanode,一个Namenode( 主角色 )带领5个Datanode( 从角色 ),每一个rack中包含不同的block模块文件为 分块存储模式 。块与块之间通过replication进行 副本备份 ,进行冗余存储,Namenode对存储的 元数据进行记录 。该架构可以概括为一个 抽象

    2024年02月16日
    浏览(72)
  • hadoop-hdfs分布式文件系统理论(一)

    可以更好的支持分布式计算。 hadoop distribute file system是一个分布式 文件系统,操作的是文件,增、删都是以文件为单位。 文件线性按字节切割成块(block),具有offset,id offset是指block的偏移量,比如block大小是10,offset可以是0,10,20,30。。。 id是block的名称,比如block1,block

    2024年02月11日
    浏览(55)
  • Hadoop3教程(三):HDFS文件系统常用命令一览

    hdfs命令的完整形式: 其中subcommand有三种形式: admin commands client commands:如本节重点要讲的dfs daemon commands dfs(文件系统命令),这个是HDFS里,日常使用 最为频繁的一种命令 ,用来在HDFS的文件系统上运行各种文件系统命令,如查看文件、删除文件等。 基本语法: 这俩基本

    2024年02月06日
    浏览(69)
  • 使用Hadoop 的 Java API 操纵 HDFS 文件系统

    使用 Java 操作 HDFS 文件系统可以使用其对应的Java API,即对应三个 jar 依赖包: hadoop-common.jar (该文件在 hadoop-2.10.1.tar.gz 压缩包中的 sharehadoopcommon 目录下) hadoop-hdfs.jar (该文件在 hadoop-2.10.1.tar.gz 压缩包中的 sharehadoophdfs 目录下) hadoop-client.jar (该文件在 hadoop-2.10.1.tar.gz 压缩包

    2023年04月25日
    浏览(40)
  • Hadoop的分布式文件存储系统HDFS组件的使用

    存储整个HDFS集群的元数据(metaData) —— 整个集群中存储的目录和文件的索引 管理整个HDFS集群 接收客户端的请求 负责节点的故障转移 存储数据,是以block块的形式进行数据的存放。 默认情况下block块的大小是128M。 blocksize大小的计算公式: 寻址时间:下载文件时找到文件

    2024年02月09日
    浏览(78)
  • Hadoop HDFS分布式文件系统(介绍以及基础操作命令)

    目录 一、为什么需要分布式存储? 二、分布式的基础架构分析  三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操作命令 1.创建文件夹  2.查看指定目录下内容  3.上传文件到HDFS指定目录下  4.查看HDFS文件内容 5.下载HDFS文件  6.拷贝

    2024年02月05日
    浏览(71)
  • 大数据 - Hadoop系列《五》- HDFS文件块大小及小文件问题

    系列文章: 大数据- Hadoop入门-CSDN博客 大数据 - Hadoop系列《二》- Hadoop组成-CSDN博客 大数据 - Hadoop系列《三》- HDFS(分布式文件系统)概述_大量小文件的存储使用什么分布式文件系统-CSDN博客 大数据 - Hadoop系列《三》- MapReduce(分布式计算引擎)概述-CSDN博客 大数据 - Hadoop系

    2024年04月24日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包