1.3 HBase 基本架构

这篇具有很好参考价值的文章主要介绍了1.3 HBase 基本架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.3 HBase 基本架构
架构角色:

1)Master
实现类为 HMaster,负责监控集群中所有的 RegionServer 实例。主要作用如下:
(1)管理元数据表格 hbase:meta,接收用户对表格创建修改删除的命令并执行
(2)监控 region 是否需要进行负载均衡,故障转移和 region 的拆分。

通过启动多个后台线程监控实现上述功能:
①LoadBalancer 负载均衡器
周期性监控 region 分布在 regionServer 上面是否均衡,由参数 hbase.balancer.period 控
制周期时间,默认 5 分钟。

②CatalogJanitor 元数据管理器
定期检查和清理 hbase:meta 中的数据。meta 表内容在进阶中介绍。

③MasterProcWAL master 预写日志处理器
把 master 需要执行的任务记录到预写日志 WAL 中,如果 master 宕机,让 backupMaster
读取日志继续干。

2)Region Server
Region Server 实现类为 HRegionServer,主要作用如下:
(1)负责数据 cell 的处理,例如写入数据 put,查询数据 get 等
(2)拆分合并 region 的实际执行者,有 master 监控,有 regionServer 执行。

3)Zookeeper
HBase 通过 Zookeeper 来做 master 的高可用、记录 RegionServer 的部署信息、并且存储
有 meta 表的位置信息。

HBase 对于数据的读写操作时直接访问 Zookeeper 的,在 2.3 版本推出 Master Registry
模式,客户端可以直接访问 master。使用此功能,会加大对 master 的压力,减轻对 Zookeeper
的压力。

4)HDFS
HDFS 为 Hbase 提供最终的底层数据存储服务,同时为 HBase 提供高容错的支持。文章来源地址https://www.toymoban.com/news/detail-445197.html

到了这里,关于1.3 HBase 基本架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据课程G2——Hbase的基本架构

    文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州 ⚪ 掌握Hbase的基本架构; ⚪ 掌握Hbase的读写流程; ⚪ 掌握Hbase的设计与优化; 1. 在HBase 中,会将一个表从行键方向上进行切分,切分成1个或者多个HRegion。 2. 切分之后,每一个HRegion都会交给某一个HRegionServe

    2024年02月14日
    浏览(29)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(38)
  • Hbase error: KeeperErrorCode = NoNode for /hbase/master错误

    可能是因为你的hbase文件目录的权限不够 chmod 777 -R 你的hbase文件路径 如果是集群的话每一个都要改,然后将hadoop集群重新启动,在重新启动hbase 进入base的命令 (需要进入bin目录下):./hbase shell

    2023年04月17日
    浏览(34)
  • Hbase解决ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master报错

    1、在单机模式中,要先修改一个文件:/usr/local/hbase/conf/hbase-site.xml hbase-site.xml内容: 保存运行 报错 报错原因:可能是因为之前启动过hadoop,然后里面/usr/local/hbase/hbase-tmp有hbase.id不一致的原因导致的 解决办法:将之前的hbase-site.xml的内容修改为 成功运行 hbase基础命令

    2024年02月09日
    浏览(41)
  • 解决hbase报ERROR: KeeperErrorCode = NoNode for /hbase/master

    zookeeper的data使用的/tmp路径 修改conf下的zoo.cfg

    2024年02月05日
    浏览(35)
  • HBase深度解析:HBase在大数据应用中的角色

    作者:禅与计算机程序设计艺术 Apache HBase是一个开源的分布式数据库系统,能够处理超大量的数据。相对于关系型数据库,HBase提供更高的容错性、可扩展性和高性能。本文将从HBase的历史和特性出发,到其最新版本中所增加的新功能以及其在大数据应用中的作用。 Apache HB

    2024年02月06日
    浏览(49)
  • ERROR: KeeperErrorCode = NoNode for /hbase/master

    错误 \\\"ERROR: KeeperErrorCode = NoNode for /hbase/master\\\" 通常发生在使用HBase时,这个错误表明在ZooKeeper中没有找到HBase Master节点的相关条目。这个问题可能由多种原因引起,以下是一些可能的原因和相应的解决方案: 可能的原因: HBase Master节点未正常启动或已崩溃 :如果HBase Master节点

    2024年04月10日
    浏览(35)
  • hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

    运行环境: hadoop3.2.3(伪分布式) jdk1.8 hbase2.5.5 解决方案: 1.删除hbase内置zookeeper信息 2.删除hdfs中hbase相关信息 重启hbase即可。

    2024年02月03日
    浏览(48)
  • HBase中master正常启动,自动关闭——原因以及解决办法

    regionserver一直在运行,而master启动之后,过一会自动停止,因为master停止,所以也无法访问hbase管理web页面。 可能的原因: 虚拟机的时间不同步 防火墙没有关闭 hbase中的hbase-site.xml文件中的属性值(hbase.rootdir)主机端口不一致 缺少配置 虚拟机时间不同步,虚拟机集群时间不

    2024年02月06日
    浏览(46)
  • HBase:Error:KeeperErrorCode=ConnectionLoss for /hbase/master For usage try ‘help‘ ‘disable‘

    1.我在输入查询数据库语句时出错,错误如下图: 然后我返回去检查启动的Hadoop与zookeeper,发现zookeeper的状态缺少一个follower,我是一个master,两个slave,其中一个slave的zookeeper状态是not running,其他两个状态正常,然后我就用之前的方法,删除了和myid在同一目录下生成的version

    2024年02月02日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包