HBase高阶(一)基础架构及存储原理

这篇具有很好参考价值的文章主要介绍了HBase高阶(一)基础架构及存储原理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、HBase介绍

简介

HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库,具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。

HBase是一种稀疏的分布式持久的多维排序map

稀疏:对比关系型数据库和非关系型数据库,关系型数据库是以表格的形式进行存储,对存储的要求较高,每一行每一列都需要预留对应的存储空间,这就会造成存储空间的浪费。

分布式:海量数据保存在多台机器上。

持久化:将内存中的对象存储在数据库中,或者存储在磁盘文件中。

多维:noSQL数据库的本质是KV结构。像hashMap就是一种单维的kv结构,存储的数据不够全面、较为单一。 

排序:无序的数据当想要查找的时候,需要遍历全表。而排序的表可以按照一些算法进行查找

map:由行键、列键和时间戳作为keyvalue是一个未解释的字节数组(未解释:经过序列化 或 没有经过UTF-8编码。这么做能够节省存储空间)

hbase的设计模型可以参考这篇文档:

Amandeep Khurana - 基本模型导论

1. 特点

我们都知道HBase是一种 分布式的NoSQL 数据库。比起传统的 RDBMS,由于缺少RDBMS中的许多特性,HBase 更像是一种【数据存储-Data Store】而非【数据库-Data Base】。但是当集群中数据增加到一定程度时,传统RDBMS很难支撑起大量的存储需求,而HBase可以通过分裂rowkey,将数据分布式的存储在不同的RegionServer上。

  1. 数据模式:HBase是一种模式灵活的数据库系统,没有严格定义的表结构。
  2. 强一致性的读/写:HBase在默认情况下提供最终一致性,即写入操作的结果可能不会立即对所有读取操作可见。
  3. 存储与计算:HBase存储在HDFS,使用MapReduce进行计算
  4. 支持使用Java API进行编程访问
  5. 支持Block Cache和Bloom Filters进行大容量查询优化

2. 使用场景

  1. 当数据量够大,比如数亿行数据
  2. 没有使用到RDBMS的特性,如索引、事务、高级查询语言等
  3. 由于需要使用集群,所以需要保证有足够的硬件资源

二、HBase逻辑结构(概念)

1. 基础模型

一个Hbase表的逻辑结构是这样的:

hbase存储,# HBase,hbase,架构,数据库

名词解释:

  • Column Family(列族):HBase中的每个列都归属于某个列族,列族不能改变,一行可有多个列族,一个列族可有任意个列;
  • Column(列):类似于关系型数据库中的列名。一般都是从属于某个列族,跟列族不一样,这些列都可以动态添加;
  • RowKey(行键):行键是HBase记录条目的主键,物理存储时会按照RowKey的字典序排序存储,HBase基于RowKey实现索引。

存储特点:

  • Key-Value(键值对):每一列存储的是一个键值对,Key是列名,Value是列值。通过{行键,列族名,列名}可以唯一确定一个列单元并获取数据Value,和关系型数据库不同的是,HBase中的数据是没有类型的,都是以bytes形式存储;
  •  Byte(数据类型):数据在HBase中以Byte存储,实际的数据类型交由用户转换;
  • 多维:通过行、列能维持一个复杂的结构;
  • 数据存储整体有序:按照rowkey的字典序排列,rowkey为byte数组;
  •  稀疏矩阵:行与行之间的列数可以不同,但只有实际的列才会占用存储空间;
  • Version(多版本):每一列都可配置相应的版本数量,获取指定版本的数据(默认返回最新版本)。HBase 的版本维度按递减顺序存储,因此在从存储文件中读取时,最新的值首先被找到。

【引申】

        由于HBase通过Put和Result支持“Bytes-in/Bytes-out”接口,因此任何可以转换为字节数组的内容都可以作为值存储。输入可以是字符串、数字、复杂对象,甚至是图像,只要它们可以转换为字节。

        类似于一个文件夹,里面可以存放各种类型的文件,比如文本文件、图片文件、视频文件等。你可以将这个文件夹看作是HBase表中的一行数据,而文件夹中的文件就是该行数据的值。无论是什么类型的文件,只要它们可以转换为字节,就可以存储在HBase中。

2. 模型拆分

hbase存储,# HBase,hbase,架构,数据库

一个表示数十亿行、数百万列,如果不进行拆分无法对其进行存储。

  • 首先横向以行为单位进行拆分。因为在数据表格使用时往往以行为单位,在写入时往往一次写入一行的数据。拆分完就把表格拆分出一个结构:Region。Region在拆分完之后会有对应的rowkey范围,每个Region的rowkey范围不一样,互相不交叉。用于实现分布式结构,拆分完之后可以放到不同的节点上。
  • 然后以列族为单位竖向切分。由于存在数百万列,不进行拆分数据量太大。切分出来的单位成为store。竖向切分为store,用于底层存储到不同的文件夹中,便于文件存储。
  • 切分region:放到不同的节点;切分store:拆分文件夹

3. 多维映射的HBase表中的一行

hbase存储,# HBase,hbase,架构,数据库

Key  由 [row key, column family, column qualifier, timestamp] 组成
Value  为每一个 cell 的内容

hbase存储,# HBase,hbase,架构,数据库

三、HBase 物理存储结构

虽然在概念级别上可以将表视为一组稀疏的行,但它们在物理上是按列族存储的,可以随时向现有列族添加新的列限定符(column_family:column_qualifier)。hbase存储,# HBase,hbase,架构,数据库

在上面图示中,拆分到最后一个存储单元是一个store。以一个store为例,value是实际存储的数值,也就是“张三”。

Key由行号①rowkey、②列号(包括列族、列限定符)、③时间戳(用于标记版本)、④type(当前标记,如put、delete)组成。

解释:

  • 修改:由于HBase是以HDFS为存储基础的数据库,而HDFS在对文件存储时只能新增、删除、不能修改,所以HBase不能修改数据。为了实现修改数据的功能,HBase通过时间戳来实现版本的标记。读取数据的时候有两个时间版本,新的版本会覆盖旧的版本,就会被认为数据已经修改。
  • 删除:与修改类似,为了实现对数据的删除,HBase通过对时间戳标记,实现对数据的删除。

1. 数据模型

  • NameSpace(命名空间):与database概念类似。每个命名空间下有多个表;
  • Table(表):类似于关系型数据库中表的概念。但Hbase定义表时只需要声明列族,不需要声明具体的列;
  • Row:每行数据由一个Rowkey和多个Column(列)组成;
  • Column:每个列由Column Family(列族)Column Qualifier(列限定符)进行限定。建表时只需要声明列族,列限定符无需预先定义;
  • Time Stamp:用于标识数据的不同版本(version),数据写入时会自动加上该字段,其值为写入HBase的时间;
  • Cell:由 {rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell 中的数据是没有类型的,全部是字节码形式存贮。底层存储的一行数据为一个cell。(一个版本对应一个cel)

hbase存储,# HBase,hbase,架构,数据库

hbase存储,# HBase,hbase,架构,数据库

2.自动分区

 HBase中扩展和负载均衡的基本单元是RegionRegion本质上是以行键rowkey排序的连续存储区间。如果region太大,系统会动态拆分;如果region太小,系统同样会把多个region合并,以减少存储的文件数。

四、HBase架构及设计

hbase存储,# HBase,hbase,架构,数据库

  • Zookeeper,作为分布式的协调。RegionServer也会把自己的信息写到ZooKeeper中。
  • HDFS是Hbase运行的底层文件系统
  • RegionServer,理解为数据节点,存储数据的。
  • Master RegionServer要实时的向Master报告信息。Master知道全局的RegionServer运行情况,可以控制RegionServer的故障转移和Region的切分。

1. 主架构

  • client:当一个Client需要访问HBase集群时,Client需要先和Zookeeper来通信,获取路由表hbase-meta的存放地址。通过这个存放地址可以获得hbase:meta文件来找到的Client所需要的Region和对应的Region Server的地址,进行DML操作

  • zookeeper:HMaster通过zookeeper实现分布式的管理。

  • HMaster / Backup-Master:HMaster 是 HBase 集群的主节点,负责管理整个集群的元数据(如表和列族信息)、调度和协调工作,以及处理管理操作。HMaster 负责分配和管理 RegionServer,负责 Region 的负载均衡、故障恢复和自动切分。在 HBase 中,每个集群通常只有一个 HMaster节点,在故障发生时可以通过自动故障转移来切换到另一台 HMaster。

  • HRegionServe:HRegionServer 是 HBase 集群中的工作节点,负责存储和处理数据。RegionServer将进程信息注册到zookeeper中,master读取zk中注册的信息,从而实现管理。每个 RegionServer 管理多个 HBase 表的 Region,每个 Region 负责存储表的一部分数据。HRegionServer 处理来自客户端的读写请求,并将数据存储到 HDFS 上。它还负责处理 Region的 分裂、合并、迁移等操作,以及处理数据的压缩、缓存和预取。

  • HDFS:用于实际存储数据。

2. 其他组成部分

hbase存储,# HBase,hbase,架构,数据库

hbase存储,# HBase,hbase,架构,数据库

  • HLog预写日志文件。负责记录着数据的操作日志,当HBase出现故障时可以进行日志重放、故障恢复。例如,磁盘掉电导致 MemStore中的数据没有持久化存储到 StoreFile,这时就可以通过HLog日志重放来恢复数据。
  • HRegion:将表切分成多个region。
  • Store:一个 Region 由多个 Store 组成,每个 Store 都对应一个 Column Family, Store 包含 MemStore 和 StoreFile。
  1. MemStore内存数据存储,数据的写操作会先写到 MemStore 中,当MemStore 中的数据增长到一个阈值(默认64M)后,Region Server 会启动 flasheatch 进程将 MemStore 中的数据写人 StoreFile 持久化存储,每次写入后都形成一个单独的 StoreFile。
  2. StoreFile保存实际数据的物理文件。MemStore 内存中的数据写到文件后就是StoreFile,StoreFile底层是以 HFile 的格式保存在HDFS上。HBase以Store的大小来判断是否需要切分Region。
  • HFile / StoreFile:HFile 和 StoreFile 是同一个文件,只不过站在 HDFS 的角度称这个文件为HFile,站在HBase的角度就称这个文件为StoreFile。每个Store会有一个或者多个StoreFile,数据在每个StoreFile中都是有序的

HBase将表格的数据存储到HDFS上,按照 namespace -> table -> region -> store 的格式划分文件夹存储。在store内部存储HFile,内部为对应的cell。

3. HBase 表的设计原则

  •  region 的大小设置在 10-50GB 之间;
  • 单个 cell 大小不超过 10MB。或使用mob机制存储数据时,单个mob列不大于50MB。否则,可以考虑将数据存储在HDFS中,并在HBase中存储一个指向数据在HDFS中位置的指针;
  • 一个典型的模式每个表有1到3个列族。HBase表不应该被设计成模仿RDBMS表;
  • 对于1-2个列族的表来说,region最好设置为50-100个;
  • 列族尽可能短,不能像RDBMS那样具有描述性;

【注】mob是指"Mobile”(移动)的简称。它是一种特殊的存储机制,用于存储较大的数据值(例如大文本、图像、音频等),可以提供更高的读取性能和压缩比

4. HBase 列族的设计原则

  • HBase目前不能很好地处理超过两个或三个列族的任何东西,所以最好尽量减少列族的数量
  • 如果单个表中存在多个列族,请注意表格的行数。如果 列族A 有100万行,而 列族B 有10亿行,那么 列族A 的数据可能会分布在很多很多的 regionserver 中。会大大降低对 列族A 进行大规模扫描的效率。

5. HBase RowKey的设计原则

参考 -> HBase rowkey的设计原则

四、HBase原理

写入过程

当数据写入HBase时,首先会根据表的设计将数据写入对应的Region。每个Region维护一个HLogMemStore。数据首先被追加到HLog中,以提供数据的持久性和故障恢复。然后数据被写入内存的MemStore中,当MemStore积累到一定的大小后,将其刷新到磁盘上的HFile中。同时,HBase还会对数据进行压缩和写缓存等优化操作。

可以参考->HBase有写入数据,页面端显示无数据量_five小点心的博客-CSDN博客

读取过程

读取数据时,HBase首先在内存中的MemStore中查找数据,然后在HFile中进行查找。由于HFile支持块级索引,可以高效地定位到指定行的数据。HBase还可以利用块缓存(BlockCache)来加速数据的读取操作,通过将热点数据缓存在内存中,提高读取性能。

故障恢复

HBase通过复制机制实现数据的冗余备份,并通过多个RegionServer之间的数据复制来提供高可用性和容错性。当一个RegionServer宕机时,HBase会使用备份的数据进行自动故障转移,将失效的Region切换到其他可用的RegionServer上。

自动切分

HBase支持自动切分(Split)功能,当一个Region存储的数据过大时,HBase会自动将其切分为两个或多个Region,从而实现数据的均衡分布。文章来源地址https://www.toymoban.com/news/detail-753600.html

到了这里,关于HBase高阶(一)基础架构及存储原理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HBase基础知识(三):HBase架构进阶、读写流程、MemStoreFlush、StoreFile Compaction、Region Split

    1)StoreFile 保存实际数据的物理文件,StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。 2)MemStore 写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到HFi

    2024年01月17日
    浏览(49)
  • 数据模型:HBase如何存储和管理数据

    HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等其他组件集成。HBase的核心功能是提供高速、高可靠的读写访问,同时支持大规模数据的随机读写操作。 HBase的设计目标是为大规模数据应

    2024年01月25日
    浏览(31)
  • Hbase的JavaAPI和数据存储

    传统的行式数据库将一个个完整的数据行存储在数据页中 列式数据库是将同一个数据列的各个值存放在一起 传统行式数据库的特性如下: 数据是按行存储的。 没有索引的查询使用大量I/O。比如一般的数据库表都会建立索引,通过索引加快查询效率。 建立索引和物化视图需

    2024年02月08日
    浏览(35)
  • HBase的数据压缩与存储效率实践

    HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase适用于大规模数据存储和实时数据访问场景,如日志记录、实时数据分析、实时数据挖掘等。 数据压缩是提高存储效率和

    2024年02月20日
    浏览(32)
  • Hbase数据库完全分布式搭建以及java中操作Hbase

    基础的环境准备不在赘述,包括jdk安装,防火墙关闭,网络配置,环境变量的配置,各个节点之间进行免密等操作等。使用的版本2.0.5. 参考官方文档 分布式的部署,都是在单节点服务的基础配置好配置,直接分发到其他节点即可。 jdk路径的配置,以及不适用内部自带的zk. 配

    2024年02月03日
    浏览(44)
  • Spark + HBase 数据处理和存储实验

    了解Spark中的基本概念和主要思想,熟悉Spark与MapReduce的区别; 掌握基本的Spark编程,实现基础RDD编程; 了解HBase的基本特性及其适用场景; 熟悉HBase Shell常用命令; 学习使用HBase的Java API,编程实现HBase常用功能; 实验平台:基于实验一搭建的虚拟机Hadoop大数据实验平台上的

    2024年02月05日
    浏览(47)
  • Hive、HBase对比【相同:HDFS作为底层存储】【区别:①Hive用于离线数据的批处理,Hbase用于实时数据的处理;②Hive是纯逻辑表,无物理存储功能,HBase是物理表,放非结构数据】

    1. Hive是hadoop数据仓库管理工具,严格来说,不是数据库,本身是不存储数据和处理数据的,其依赖于HDFS存储数据,依赖于MapReducer进行数据处理。 2. Hive的优点是学习成本低,可以通过类SQL语句(HSQL)快速实现简单的MR任务,不必开发专门的MR程序。 3. 由于Hive是依赖于MapRed

    2024年04月17日
    浏览(41)
  • 【大数据】分布式数据库HBase

    目录 1.概述 1.1.前言 1.2.数据模型 1.3.列式存储的优势 2.实现原理 2.1.region 2.2.LSM树 2.3.完整读写过程 2.4.master的作用 本文式作者大数据系列专栏中的一篇文章,按照专栏来阅读,循序渐进能更好的理解,专栏地址: https://blog.csdn.net/joker_zjn/category_12631789.html?spm=1001.2014.3001.5482 当

    2024年04月27日
    浏览(46)
  • Python读取hbase数据库

    1. hbase连接 首先用hbase shell 命令来进入到hbase数据库,然后用list命令来查看hbase下所有表,以其中表“DB_level0”为例,可以看到库名“baotouyiqi”是拼接的,python代码访问时先连接: 备注:完整代码在最后,想运行的直接滑倒最后复制即可 2. 按条件读取hbase数据 然后按照条件

    2024年04月09日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包