0、前置概念
0.1 checkpoint 检查点
在Hadoop分布式文件系统(HDFS)中,检查点(Checkpointing)是一个关键的过程,它涉及到将文件系统的命名空间状态持久化到磁盘。这个状态由两部分组成:EditLogs和FsImage。
- EditLogs:记录了自FsImage生成后对文件系统所做的所有修改。每次对文件系统的修改都会追加到EditLogs中。
- FsImage:包含了文件系统所有目录和文件的元数据的一个快照,在系统启动时加载。
检查点的作用文章来源:https://www.toymoban.com/news/detail-793073.html
- 性能优化:随着时间的推移,EditLogs可以变得非常大,因此,合并这些日志到FsImage可以减少NameNode启动时加载和应用EditLogs所需的时间。
- 系统稳定性:通过定期创建检查点,可以减少在发生故障时需要恢复的数据量,从而提高系统的稳定性和可靠性。
- 数据恢复:在系统崩溃后,检查点可以用来恢复文件系统的状态。最新的FsImage和EditLogs会被用来重建文件系统的元数据。
检查点的创建文章来源地址https://www.toymoban.com/news/detail-793073.html
- 检查点的创建通常由Secondary NameNode或在HA配置中的Standby NameNode负责:
- Secondary NameNode:在非HA配置中,Secondary NameNode定期从Active NameNode下载EditLogs和FsImage,并将它们合并以创建新的FsImage。这个过程不会影响Active NameNode的正常运行。
- Standby NameNode:在HA配置中,
到了这里,关于HDFS HA 集群搭建 - 基于Quorum Journal Manager(hadoop2.7.1)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!