文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州
▲ 本章节目的
⚪ 了解HIve的概念;
⚪ 了解HIve与数据库的区别;
⚪ 了解HIve的特点;
一、简介
1. 概述
1. HBase原本是由Yahoo!公司开发后来贡献给了Apache的一套开源的、基于Hadoop的、分布式的、可扩展的、非关系型数据库。
2. 如果需要对大量数据进行随机且实时读写,那么可以考虑使用HBase。
3. HBase能够管理非常大的表:billions of rows * millions of columns。
4. HBase是仿照Google的Big Table来进行实现的,因此,HBase和BigTable的原理几乎一致,只有实现语言不同。HBase是使用Java语言实现的,BigTable使用的是C语言实现的 - HBase最终将数据落地到HDFS上。
5. HBase提供了2个大版本,并且2个版本都在同时更新。其中,Hadoop3.1.3版本支持的是HBase2.2.X及以上版本。
6. HBase作为非关系型数据库,不支持标准的SQL语法,提供了一套全新的命令。
7. HBase能够存储稀疏类型的数据,也因此HBase能够存储结构化(数据本身有结构,经过解析之后,能够用传统数据库中的一个或者几个表来存储)和半结构化数据(数据本身有结构,但是解析之后无法用传统数据库中的表来存储)。
8. HBase本身作为数据库,提供了完整的增删改查的功能。HBase基于HDFS来进行存储,HDFS的特点是允许一次写入多次读取,不允许修改而允许追加写入,但是HBase提供了"改"功能,HBase如何实现"改"功能的?- HBase实际上并没有去修改写入的数据,而是在文件末尾去追加数据。HBase会对写入的每条数据自动添加一个时间戳,当用户获取数据的时候,HBase自动返回最新的数据,那么从用户角度来看,就是发生了数据的修改。
9. 在HBase中,数据的每一个时间戳称之为是一个版本。
10. 如果要锁定唯一的一条数据,那么需要通过行键+列族+列+时间戳这四个维度来锁定,这种结构称之为是一个Cell(单元格)。
11. HBase中的表在创建的时候,如果不指定,那么只对外提供一个版本的数据。
12. 如果建好表之后再修改可以获取的版本,那么已经添加的数据不起作用。
13. 即使表允许对外获取多个版本的数据,在获取的时候如果不指定,依然只获取一个版本的数据。
2. 基本概念
1. Rowkey:行键
a. 在HBase中没有主键的概念,取而代之的是行键。
b. 不同于传统的关系型数据库,在HBase中,定义表的时候不需要指定行键列,而是在添加数据的时候来手动添加行键。
c. HBase默认会对行键来进行排序,按照字典序排序。
2. Column Family:列族/列簇
a. 在HBase中,没有表关联的概念,取而代之的是用列族来进行设计。
b. 在HBase中,一个表中至少要包含1个列族,可以包含多个列族,理论上不限制列族的数量。
c. 在HBase中强调列族,但是不强调列 - 在定义表的时候必须定义列族,但是列可以动态增删,一个列族中可以包含0到多个列。
3. namespace:名称空间
a. 在HBase中没有database的概念,取而代之的是namespace。
b. 在HBase启动的时候,自带了两个空间:default和hbase。hbase空间下放的是HBase的基本信息;在建表的时候如果不指定,则表默认是放在default空间下。
3. 基本命令
命令 |
解释 |
processlist |
查看当前HBase在执行的任务 |
status |
查看HBase的运行状态 |
version |
查看HBase的版本 |
whoami |
查看HBase的当前用户 |
create 'person', {NAME => 'basic'}, {NAME => 'info'}, {NAME => 'other'} 或者 create 'person', 'basic', 'info', 'other' |
建立一个person表,包含3个列族:basic,info,other |
append 'person', 'p1', 'basic:name', 'Bob' |
在person表中添加一个行键为p1的数据,向basic列族的name列中添加数据 |
get 'person', 'p1' |
获取指定行键的数据 |
get 'person', 'p1', {COLUMN => 'basic'} 或者 get 'person', 'p1', 'basic' |
获取指定行键指定列族的数据 |
get 'person', 'p1', {COLUMN => ['basic', 'info']} 或者 get 'person', 'p1', 'basic', 'info' |
获取指定行键多列族的数据 |
get 'person', 'p1', {COLUMN => 'basic:name'} 或者 get 'person', 'p1', 'basic:name' |
获取指定行键指定列的数据 |
scan 'person' |
扫描整表 |
scan 'person', {COLUMNS => 'basic'} |
获取指定列族的数据 |
scan 'person', {COLUMNS => ['basic', 'info']} |
获取多列族的数据 |
scan 'person', {COLUMNS => ['basic:name', 'other:address']} |
获取多个列的数据 |
put 'person', 'p1', 'basic:age', 20 |
修改数据 |
delete 'person', 'p1', 'other:adderss' 或者 deleteall 'person', 'pb', 'basic:name' |
删除指定行键指定列族的指定列 |
deleteall 'person', 'p1' |
删除指定行键的所有数据 |
create 'students', {NAME => 'basic', VERSIONS => 3}, {NAME => 'info', VERSIONS => 4} |
指定每一个列族允许对外获取的版本数量 |
desc 'students' 或者 describe 'students' |
描述表 |
get 'students', 's1', {COLUMN => 'basic:age', VERSIONS => 3} |
获取指定行键指定列的指定数量版本的数据 |
scan 'students', {COLUMNS => 'basic:age', VERSIONS => 3} |
获取指定列的指定数量版本的数据 |
count 'person' |
统计person表中行键的个数 |
get_splits 'person' |
获取person表对应的HRegion的个数 |
truncate 'person' |
摧毁重建person表 |
list_namespace |
查看所有的空间 |
create_namespace 'demo' |
创建demo空间 |
create 'demo:users', 'basic' |
在demo空间下创建users表 |
list_namespace_tables 'demo' |
获取demo空间下的所有表 |
describe_namespace 'demo' |
描述demo空间 |
drop_namespace 'demo' |
删除demo空间,要求这个空间为空 |
disable 'demo:users' |
禁用表 |
drop 'demo:users' |
删除表 |
enable 'person' |
启用表 |
exists 'users' |
判断表是否存在 |
is_disabled 'person' |
判断person表是否被禁用 |
is_enabled 'person' |
判断person表是否被启用 |
list |
查看所有空间下的所有的表 |
locate_region 'person', 'p1' |
定位p1行键所在的HRegion的位置 |
show_filters |
展现所有的过滤器 |
disable_all 'demo:.*' |
禁用demo空间下的所有的表 |
drop_all 'demo.*' |
删除demo空间下的所有的表 |
enable_all 'demo:.*' |
启用demo空间下的所有的表 |
4. Hive和HBase的比较
1. Hive本质上是一个用于进行数据仓库管理的工具,在实际过程中经常用于对数据进行分析和清洗,提供了相对标准的SQL结构,底层会将SQL转化为MapReduce来执行,因此Hive的效率相对较低,更适合于离线开发的场景。Hive一般针对历史数据进行分析,一般只提供增加和查询的能力,一般不会提供修改和删除的功能。
2. HBase本质上是一个非关系型数据库,在实际过程中,用于存储数据。因为HBase的读写效率较高,吞吐量较大,因此一般使用HBase来存储实时的数据,最终数据会落地到HDFS上。HBase作为数据库,提供了完整的增删改查的能力,但是相对而言,HBase的事务能力较弱。HBase不支持SQL,提供了一套完整的命令。
3. 总结:Hive强调的是分析能力,但是HBase强调的是存储能力,相同的地方在于两者都是利用HDFS来存储数据。
二、安装
1. 硬件环境:至少需要3台虚拟机或者云主机,Centos7.5及以上版本,至少需要双核,至少4G内存+20G磁盘。
2. 软件环境:JDK1.8+Zookeeper3.5.7+Hadoop3.1.3。
3. 进入/home/software目录下。
cd /home/software
4. 上传或者下载HBase的安装包,云主机的下载地址。
wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hbase-2.4.2-bin.tar.gz
5. 解压。
tar -xvf hbase-2.4.2-bin.tar.gz
6. 进入HBase的配置目录
cd hbase-2.4.2/conf
7. 编辑文件。
vim hbase-env.sh
#添加如下属性
export JAVA_HOME=/home/software/jdk1.8
export HBASE_MANAGES_ZK=false
#保存退出,重新生效
source hbase-env.sh
8. 编辑文件。
vim hbase-site.xml
#添加如下内容
<!--指定HBase在HDFS上的数据存储目录-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:9000/hbase</value>
</property>
<!--开启HBase的分布式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--配置Zookeeper的连接地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
9. 编辑文件。
vim regionservers
#添加当前的三台主机的主机名
10. 需要将Hadoop的核心配置文件拷贝到当前的HBase的配置目录下。
cp /home/software/hadoop-3.1.3/etc/hadoop/core-site.xml ./
11. 回到software目录下,远程拷贝给另外两台云主机。
cd /home/software/
scp -r hbase-2.4.2 root@hadoop02:$PWD
scp -r hbase-2.4.2 root@hadoop03:$PWD
12. 配置三台主机的环境变量。
vim /etc/profile
#在文件末尾添加
export HBASE_HOME=/home/software/hbase-2.4.2
export PATH=$PATH:$HBASE_HOME/bin
#保存退出,重新生效
source /etc/profile
13. 启动Zookeeper。
cd /home/software/apache-zookeeper-3.5.7-bin/bin
sh zkServer.sh start
sh zkServer.sh status
14. 在第一台主机上启动Hadoop的HDFS。
start-dfs.sh
15. 在第一台主机上启动HBase。
start-hbase.sh
16. 可以通过IP:16010来访问HBase的界面。文章来源:https://www.toymoban.com/news/detail-628594.html
文章来源地址https://www.toymoban.com/news/detail-628594.html
到了这里,关于大数据课程G1——Hbase的概述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!