当前HDFS体系架构–简介
当前的HDFS结构有两个主要的层：
- 命名空间（namespace）
由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构 - 块存储层
包括两部分：- 块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位置。它还维护块的位置，副本位置。为未复制的块管理块复制，并在已复制的块中删除
- 存储：DataNode通过在本地文件系统上存储块并提供读/写访问权限来管理存储空间
局限性
当下的HDFS体系结构仅允许单个namenode委会文件系统名称空间。这货在那个体系目前存在着一些弊端性和局限性：文章来源：https://www.toymoban.com/news/detail-627407.html
- DataNode磁盘存储空间不够增加结点，namenode内存不够是否可以无线扩容。比如：一种是DataNode横向扩展机器增加结点，一种是纵向扩展单机加内存
- 由于名称空间和存储层紧密耦合，namenode的替代实现很困难。这限制了其他服务直接使用块存储。namenode成了唯一入口
- 文件系统的操作害限于namenode一次处理的任务数。因此，集群的性能取决于namenode吞吐量
- 同样，由于使用的那个名称空间，因此使用集群的占用者组织之间没有隔离
联邦Federation架构
简介
- Federation是namenode之间的Federation，也就是集群中会有多个namenode。多个那么node的情况意味着有多个namespace。注意，这区别于HA模式下的多namenode，HA中他们是拥有同一个namespace
- Federation体系中多个那么node之间相互独立且不需要互相协调，各自分工，管理自己的区域。每个DataNode要向集群中所有的namenode注册，且周期性的向所有namenode发送心跳和块报告，并执行所有namenode的命令
好处
- 命名空间可伸缩性
- 使用Federation，可以水平扩展名称空间。这对大型集群或包含太多小文件的集群有利，因为想集群添加了更多的namenode。
- 性能
- 由于文件系统操作不熟单个那么node吞吐量的限制，因此可以提高文件系统的性能
- 隔离
-由于有多个名称空间，他可以为使用集群的占用者组织提供隔离
配置示例
文章来源地址https://www.toymoban.com/news/detail-627407.html
到了这里，关于HDFS中的Federation联邦机制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
