Hbase安装及简介

这篇具有很好参考价值的文章主要介绍了Hbase安装及简介。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

什么是hbase

1.简介

HBase 是一个面向列式存储分布式数据库,其设计思想来源于 Google 的 BigTable 论文。

HBase 底层存储基于 HDFS 实现,集群的管理基于 ZooKeeper 实现。

HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能,基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾是大数据领域中 Key-Value 数据结构存储最常用的数据库方案

2.特点

  1. 易扩展

Hbase 的扩展性主要体现在两个方面,一个是基于运算能力(RegionServer) 的扩展,通过增加 RegionSever 节点的数量,提升 Hbase 上层的处理能力;另一个是基于存储能力的扩展(HDFS),通过增加 DataNode 节点数量对存储层的进行扩容,提升 HBase 的数据存储能力。

  1. 海量存储

HBase 作为一个开源的分布式 Key-Value 数据库,其主要作用是面向 PB 级别数据的实时入库和快速随机访问。这主要源于上述易扩展的特点,使得 HBase 通过扩展来存储海量的数据。

  1. 列式存储

Hbase 是根据列族来存储数据的。列族下面可以有非常多的列。列式存储的最大好处就是,其数据在表中是按照某列存储的,这样在查询只需要少数几个字段时,能大大减少读取的数据量。

  1. 高可靠性

WAL 机制保证了数据写入时不会因集群异常而导致写入数据丢失,Replication 机制保证了在集群出现严重的问题时,数据不会发生丢失或损坏。而且 Hbase 底层使用 HDFS,HDFS 本身也有备份。

  1. 稀疏性

在 HBase 的列族中,可以指定任意多的列,为空的列不占用存储空间,表可以设计得非常稀疏。

  1. 模块组成

HBase 可以将数据存储在本地文件系统,也可以存储在 HDFS 文件系统。在生产环境中,HBase 一般运行在HDFS 上,以 HDFS 作为基础的存储设施。HBase 通过 HBase Client 提供的 Java API 来访问 HBase 数据库,以完成数据的写入和读取。HBase 集群主由HMaster、Region Server 和 ZooKeeper 组成。

3.使用场景

HBase擅长于存储结构简单的海量数据但索引能力有限,而Oracle,mysql等传统关系型数据库(RDBMS)能够提供丰富的查询能力,但却疲于应对TB级别的海量数据存储,HBase对传统的RDBMS并不是取代关系,而是一种补充。

适合使用 对于关系型数据库的一种补充,而不是替代

  • 数据库中的很多列都包含了很多空字段(稀疏数据),在 HBase 中的空字段不会像在关系型数据库中占用空间。

  • 需要很高的吞吐量,瞬间写入量很大。

  • 数据有很多版本需要维护,HBase 利用时间戳来区分不同版本的数据。

  • 具有高可扩展性,能动态地扩展整个存储系统。

比如:用户画像(给用户打标签),搜索引擎应用,存储用户交互数据等

不适合使用

  1. 需要数据分析,比如报表(rowkey) 对sql支持不好

  2. 单表数据不超过千万(数据量小)

 

4hbase的架构

HBase 系统遵循 Master/Salve 架构,由三种不同类型的组件组成:

client

  1. 提供了访问hbase的接口

  2. 提供cache缓存提高访问hbase的效率 , 比如region的信息

Zookeeper

  1. 保证任何时候,集群中只有一个 Master;

  2. 存储所有 Region 的寻址入口;

  3. 实时监控 Region Server 的状态,将 Region Server 的上线和下线信息实时通知给 Master;

  4. 存储 HBase 的 Schema,包括有哪些 Table,每个 Table 有哪些 Column Family 等信息。

Master/master

  1. 为 Region Server 分配 Region;

  2. 负责 Region Server 的负载均衡 ;

  3. 发现失效的 Region Server 并重新分配其上的 Region;

  4. GFS 上的垃圾文件回收;

  5. 处理 Schema 的更新请求

Region Server

  1. Region Server 负责维护 Master 分配给它的 Region ,并处理发送到 Region 上的 IO 请求;

  2. Region Server 负责切分在运行过程中变得过大的 Region

 安装

因为hbase需要依赖zookeeper和hdfs,所以在安装hbase集群之前需要确保zookeeper和hdfs的环境

1 时间同步

由于HBase默认的容忍间隔是30s,超过这个阈值,就会报“Master rejected startup because clock is out of sync”异常,所以三台机器的时间 间隔不能超过30s

2下载上传解压

3hbase配置

  1. 在conf目录下找到hbase-env.sh

命令

cd /opt/app/hbase-2.2.5/conf

vi hbase-env.sh

修改的地方: #1.配置java的环境变量,注意需要将前面的注释打开

export JAVA_HOME=/opt/app/jdk1.8

#2.hbase中内嵌了一个zookeeper,默认使用的是内置的zoopkeeper,将等号后面的true改成false

export HBASE_MANAGES_ZK=false

  1. 在 conf目录下找到hbase-site.xml

命令:

vi hbase-site.xml 在最下面输入下面的配置文件,黄色部分需要自己修改主机名 <configuration>

<!-- 指定hbase在HDFS上存储的路径 -->

<property>

<name>hbase.rootdir</name>

<value>hdfs://linux001:8020/hbase</value>

</property> <!-- 指定hbase是分布式的 --> <property> <name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<!-- 分布式中一定要配置该参数,否则可能会出现无法启动HMaster的情况 -->

<property>

<name>hbase.unsafe.stream.capability.enforce</name>

<value>false</value>

</property>

<!-- 指定zk的地址,多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>linux001:2181,linux002:2181,linux003:2181</value>

</property>

</configuration>

  1. regionservers 配置 启动集群中的Regionserver机器

命令:

vi regionservers

输入自己的三台机器域名 linux01 linux02 linux03

2.4集群分发

[root@linux01 apps]# pwd /usr/apps

[root@linux01 apps]# scp -r hbase-2.0.4/ linux02:$PWD [root@linux01 apps]# scp -r hbase-2.0.4/ linux03:$PWD

在app目录下执行: for i in 2 3 do scp -r hbase-2.2.5/ linux0$i:$PWD done

2.5启动

单节点启动:

bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver

提示:如果regionserver无法启动,请先检查下集群之间的节点时间是否同步

一键启动:

bin/start-hbase.sh 文章来源地址https://www.toymoban.com/news/detail-486693.html

到了这里,关于Hbase安装及简介的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 3. Apache HBase 为什么快?

    Apache HBase 之所以快速,主要归功于其设计和实现的几个关键特性和优化。 下面是一些重要的原因: 分布式架构:HBase是一个分布式数据库,数据存储在多个节点上,可以水平扩展。这使得HBase能够处理大规模数据,并且能够通过添加更多的服务器节点来提高性能。 列式存储

    2024年02月09日
    浏览(39)
  • Hbase与MySQL对比,区别是什么?

    在数据库管理系统领域,MySQL和HBase是两个最受欢迎的选择。MySQL是传统的关系数据库管理系统,而HBase是专门为大数据应用程序设计的NoSQL,面向列的数据库系统。在本文中,我们将探讨这两个数据库管理系统在架构、数据模型、可伸缩性、查询语言和用例方面的差异。 1. 

    2024年02月09日
    浏览(44)
  • hbase可视化:hbaseGUI的安装与使用_hbase gui

    1. hbaseGUI的官方介绍 git官方 https://github.com/Observe-secretly/HbaseGUI 2. 解压Hbase-GUI-1.2.5.zip 将Hbase-GUI-1.2.5.zip解压到D盘中 3. 解压driver.zip Windows解压到 用户主目录/.hbase-gui-conf/ 下。Mac用户解压到 ~/.hbase-gui-conf/ 例如: window用户为admin,就把driver.zip解压到C:Usersadmin.hbase-gui-conf中 4. 连接

    2024年04月25日
    浏览(24)
  • 什么是hive?什么是hbase?它们有什么区别与联系。

    Hive和HBase是两个在大数据领域中常用的开源项目,它们有不同的功能和用途: Hive(Apache Hive): Hive是一个基于Hadoop的数据仓库基础架构,它提供了一种类似于SQL的查询语言(HiveQL)来处理和分析大规模的结构化数据。 Hive旨在使非技术用户能够使用类似于SQL的语言进行数据

    2024年02月12日
    浏览(53)
  • 大数据面试题:HBase为什么查询快

    面试题来源: 《大数据面试题 V4.0》 大数据面试题V3.0,523道题,679页,46w字 可回答:1)HBase为什么读快;2)HBase是根据rowkey查询,当数据量相当大的时候,是怎么读的很快的 参考答案: 1、基于LSM树的存储方式 HBase采用基于LSM树的存储方式,这种存储方式将数据分为内存和

    2024年02月12日
    浏览(42)
  • 安装和配置HBase

    一、下载 阿里云镜像下载比较快。 https://mirrors.aliyun.com/apache/hbase/2.4.12/ 二、安装 1、解压 解压安装包hbase-2.4.12-bin.tar.gz至路径 /usr/local 2、把hbase目录权限赋予给hadoop用户 3、配置环境变量 将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便

    2024年02月02日
    浏览(31)
  • Hbase的安装配置

    注:本文默认已经完成hadoop的下载以及环境配置 1.上传zookeeper和hbase压缩包到指令路径并且解压 (理论上讲,hbase其实内置了zookeeper,我们也可以不另外下载,另外下载的目的在于减少组件间依赖性)   注:这里的下载、解压地址没有特殊规定。本文下载的地址为/home/hbase目录

    2024年01月16日
    浏览(27)
  • 安装配置HBase

    HBase集群需要整个集群所有节点安装的HBase版本保持一致,并且拥有相同的配置,具体配置步骤如下: 1. 解压缩HBase的压缩包 2. 配置HBase的环境变量 3. 修改HBase的配置文件,HBase的配置文件存放在HBase安装目录下的conf中 4. 首先在一台节点对整个HBase集群进行配置,再将此节点的

    2024年03月16日
    浏览(36)
  • Hbase的安装与配置

    Hbase: 是基本Hadoop 的一个数据库,全名叫Hadoop Database hadoop 的数据库,所以安装hbase之前一定要把,hadoop装好。 1,ssh 免密测试 输入命令: ssh localhost 因为之前安装Hadoop的时候已经把免密做好了,所以现在不用做了 输入命令: cd .ssh 进入ssh目录 输入命令: ssh-keygen -t rsa 之后会生成

    2024年01月21日
    浏览(34)
  • hbase分布式安装

    目录 1.安装Hbase 2.配置文件 3.Hbase服务启动      Zookeeper和Hadoop集群正常启动           进入/export/software目录,将hbase软件包导入该目录下。解压hbase软件包 到/export/servers目录下,并重命名为hbase。         进入hbase安装目录下,进入conf目录,修改hbase-env.sh、 hbase-si

    2024年02月10日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包