分布式文件系统
分布式文件系统的结构
1、名称节点
(“主节点”): 负责文件和目录的创建、删除和重命名等,同时管理着数据节点和文件块之间的映射关系。
2、数据节点
(“从节点”): 负责数据的存储和读取。在存储时,由名称节点分配存储位置,然后由客户端把数据直接写入相应的数据节点;在读取时,客户端从名称节点获得数据节点和文件块之间的映射关系,然后就可以到相应位置访问文件块。数据节点也要根据名称节点的命令创建、删除和复制数据块。
HDFS相关概念
1、名称节点的两个核心数据结构是FsImage和EditLog.
2、第二名称节点的功能有两方面:首先,它可以完成EditLog与FsImage的合并操作
,减小EditLog文件大小,缩短名称节点的重启时间;其次,它可以作为名称节点的“检查点”
,保存名称节点中的元数据信息。
3、HDFS的通信协议:
客户端与名称节点 之间使用客户端协议进行交互。
名称节点和数据节点 之间使用数据节点协议进行交互。
客户端与数据节点 的交互通过远程过程调用RPC来实现。
练习题
1【单选题】
HDFS集群采用主从结构,节点主要包括________和数据节点。
A、从节点
B、文件节点
C、名称节点
D、元数据节点
答案:C
2【单选题】
对HDFS通信协议的理解错误的是________。
A、名称节点和数据节点之间则使用数据节点协议进行交互
B、客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互
C、HDFS通信协议都是 构建在IoT协议基础之上的
D、客户端与数据节点的交互是通过RPC(Remote Procedure Call)来实现的
答案:C
3【单选题】
采用多副本冗余存储的优势不包含________
A、保证数据可靠性
B、节约存储空间
C、加快数据传输速度
D、容易检查数据错误
答案:B
4【单选题】
假设已经配置好环境变量,启动HDFS和关闭HDFS的命令分别是________
A、start-hdfs.sh,stop-hdfs.sh
B、start-dfs.sh,stop-dfs.sh
C、start-dfs.xml,stop-dfs.xml
D、start-hdfs.sh,stop-dfs.sh
答案:B
5【单选题】
分布式文件系统HDFS采用了主从结构模型,由计算机集群中的多个节点构成的,这些节点分为两类,一类存储元数据叫________,另一类存储具体数据叫 ________。
A、名称节点,数据节点
B、从节点,主节点
C、数据节点,名称节点
D、名称节点,主节点
答案:A
6【单选题】
下面关于分布式文件系统HDFS的描述正确的是________
A、分布式文件系统HDFS是Google Bigtable的一种开源实现
B、分布式文件系统HDFS比较适合存储大量零碎的小文件
C、分布式文件系统HDFS是一种关系型数据库
D、分布式文件系统HDFS是谷歌分布式文件系统GFS(Google File System)的一种开源实现
答案:D
7【单选题】
查看HDFS系统版本 的Shell命令,以下正确的是________
A、hadoop -ver
B、hdfs version
C、dfsadmin version
D、hdfs -ver
答案:B
8【单选题】
查看HDFS系统运行状态的Shell命令,以下正确的是________。
A、hdfs dfsadmin -report
B、hadoop –report
C、dfsadmin -report
D、hdfs -report
答案:A
9【单选题】
HDFS的名称节点保存两个核心的数据结构是________。
A、FsImage和Edit.new。
B、Map和EditLog
C、FsImage和EditLog。
D、FsImage和HLog
答案:C
10【单选题】
HDFS中使用Shell命令对Hadoop进行操作时,________实现了创建文件的功能。
A、hdfs dfs -mkdir /file.txt
B、hadoop fs -ls /file.txt
C、hadoop fs -touchz /file.txt
D、hadoop dfs -cat /file.txt
答案:C
11【单选题】
采用HDFS Java API进行程序设计时,创建FileSystem对象的语句是________
A、FileSystem fs = new FileSystem( );
B、FileSystem fs = FileSystem.Create( );
C、FileSystem fs = FileSystem.getInstance();
D、FileSystem fs = FileSystem.get(uri, conf);
答案:D
12【多选题】
以下对名称节点理解正确的是________。
A、名称节点的数据保存在内存中
B、名称节点作为中心服务器,负责管理文件系统的命名空间及客户端对文件的访问
C、名称节点通常用来保存元数据
D、名称节点用来负责具体用户数据的存储
答案:ABC
13【多选题】
以下对数据节点理解正确的是________。
A、数据节点的数据保存在磁盘中
B、数据节点用来存储具体的文件内容
C、数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作
D、数据节点通常只有一个
答案:ABC
14【多选题】
HDFS只设置唯一一个名称节点带来的局限性包括________。
A、隔离问题
B、命名空间的限制
C、集群的可用性
D、性能的瓶颈
答案:ABCD
15【多选题】
以下HDFS相关的shell命令不正确的是________。
A、hadoop fs -ls
:显示
指定的文件的详细信息
B、
hadoop dfs mkdir
:创建
指定的文件夹
C、hdfs dfs -rm
:删除路径
指定的文件
D、hadoop fs -
copyFromLocal :将路径指定的文件或文件夹复制到路径指定的文件夹中
答案:BD
HDFS相关的shell格式: hadoop fs 、 hdfs dfs
16【多选题】
HDFS中的NameNode节点用于存放元数据,数据内容包含________。
A、文件与数据块的映射表
B、每个数据块的内容
C、数据块与数据节点的映射表
D、客户端硬件配置数据
答案:AC
17【多选题】
对HDFS内的文件进行操作,以下说法正确的是________。
A、HDFS提供了Shell的操作接口
B、不允许对文件进行列表查看
C、文件操作命令与Linux相似
D、采用Windows系统对文件进行操作
答案:AC
18【多选题】
HDFS与传统数据存储对比,主要特点包含________。
A、数据冗余,硬件容错
B、流式的数据访问
C、适合存储大量小文件
D、适合存储大量大文件
答案:ABD
19【多选题】
Hadoop存储系统HDFS的体系结构的设计目标包含________。
A、自动检测处理硬件错误
B、流式访问数据
C、转移计算,不移动数据位置
D、简单数据一致性模型
答案:ABCD
20【多选题】
HDFS的适用性和局限性,以下说法正确的是________。
A、适合数据批量读写、吞吐量高
B、不适合交互式应用,低延迟很难满足
C、适合一次写入多次读取、顺序读写
D、不支持多用户并发写相同文件
答案:ABCD
21【多选题】
HDFS中第二名称节点的作用是________。
A、名称节点的热备份 HDFS2.0 HDFS HA的处于"待命"的名称节点提供热备份
B、合并FsImage和EditLog文件
C、作为名称节点的检查点
D、解决HDFS的隔离问题 HDFS 联邦
答案:BC
22【填空题】
HDFS的命名空间包括目录、文件和________。
答案: 块
23
【判断题】
用户可以通过”hadoop fs –put ”命令获取远端文件数据。
答案:×
24
【判断题】
Hadoop存储系统HDFS的文件是分块存储,每个文件块默认大小为32MB。默认一个文件块大小为64MB
答案:×文章来源:https://www.toymoban.com/news/detail-520246.html
25
【判断题】
HDFS采用冗余存储的策略,为提高系统容错性,每个数据块必须采用2份副本。
答案:×文章来源地址https://www.toymoban.com/news/detail-520246.html
到了这里,关于《大数据技术原理与应用(第3版)》期末复习——第三章分布式文件系统HDFS习题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!