🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇
个人主页:beixi@
本文章收录于专栏(点击传送):【大数据学习】
💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓
1.HBase集群环境介绍
HBase集群由多个RegionServer节点和一个或多个HMaster节点组成。HMaster节点负责管理元数据(例如表的位置、分区等),并协调集群中的各个节点。RegionServer节点负责存储和处理数据,并与HMaster节点通信以获取元数据信息。
HBase集群的主要特点包括:
- 可靠性:HBase采用数据副本和RegionServer读写分离等机制来实现容错和恢复能力,即使部分节点出现故障,集群仍然可用。
- 高性能:HBase通过将表分割成不同的Region来进行水平扩展,可以处理海量数据并具有很高的读写性能。
- 数据模型:HBase提供类似于Google的Bigtable的列族存储模型,可以灵活定义列族和列,支持动态添加或删除列族和列。
- 多版本控制:HBase支持存储多个版本的数据,可以回滚到先前的状态,也可以查询以前的历史值。
2.搭建环境准备
本次用到的环境有:
Oracle Linux 7.4
Zookeeper3.4.6集群环境
Hadoop2.7.4集群环境
注:HBase依赖于ZooKeeper来进行分布式协调和管理,因此在搭建启用HBASE之前,需要提前搭建并启动好zookeeper集群环境,zookeeper的搭建和启动可以参考我的上一篇文章:ZooKeeper集群环境搭建
3.搭建步骤
1.启动zookeeper集群环境,zookeeper的搭建和启动可以参考我的上一篇文章:ZooKeeper集群环境搭建
2.解压HBase压缩文件至/opt目录。
tar -zxvf /root/experiment/file/hbase-1.2.6-bin.tar.gz -C /opt
3.修改解压后文件夹的名字为hbase。
cd /opt
mv /opt/hbase-1.2.6 /opt/hbase
4.查找Java安装路径
echo $JAVA_HOME
5.配置hbase-env.sh文件
vim /opt/hbase/conf/hbase-env.sh
6.按键:set nu回车设置行号,部分截图如下
7.按键27gg,光标定位到27行,部分截图如下
8.按键 i ,更改代码如下:
export JAVA_HOME=/usr/lib/java-1.8
9.按键Esc,按键128gg,光标定位到128行,部分截图如下
10.按键 i ,设置HBase使用外部独立Zookeeper集群,更改代码如下:
export HBASE_MANAGES_ZK=false
11.按键Esc,按键”:wq!”保存退出。
12.配置hbase-site.xml文件
vim /opt/hbase/conf/hbase-site.xml
13.按键:set nu回车设置行号,部分截图如下
14.按键24gg,光标定位到24行,部分截图如下
15.按键 i ,在标签之间填加代码如下:
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/hbase</value>
</property>
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
16.按键Esc,按键”:wq!”保存退出。
17.配置regionservers文件
vim /opt/hbase/conf/regionservers
18.按键dd,删除第一行“localhost”,截图如下
19.按键 i ,填加代码如下:
slave1
slave2
按键Esc,按键”:wq!”保存退出。
20.配置hbase环境变量
vim ~/.bashrc
21.按键“shift+g”组合键,达到页面底部。
22.按键 i ,填加代码如下:
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin
23.按键Esc,按键”:wq!”保存退出。
24.刷新配置文件,使新加Hbase环境变量生效。
source ~/.bashrc
25.拷贝master主机“.bashrc”文件到slave1、slave2从机“~”下。
scp ~/.bashrc slave1:~/
scp ~/.bashrc slave2:~/
26.拷贝配置好的hbase文件夹到slave1、slave2从机“/opt”下。
scp -r /opt/hbase slave1:/opt
scp -r /opt/hbase slave2:/opt
27.切换至“从节点1”机器,双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件,使新加Hbase环境变量生效,退回master主机。
ssh slave1
source ~/.bashrc
exit
28.切换至“从节点2”机器,双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件,使新加Hbase环境变量生效,退回master主机。
ssh slave2
source ~/.bashrc
exit
4.HBase集群环境启动、验证和停止
1.切换至“主节点”,双击桌面“Xfce终端”图标打开命令窗口,启动Hadoop。
start-all.sh
2.启动HBase。
start-hbase.sh
3.查看守护进程。其中HMaster为HBase的守护进程。
jps
4.切换至“从节点1”,查看守护进程。其中HRegionServer为HBase的守护进程。
ssh slave1
jps
exit
5.切换至“从节点2”,查看守护进程。其中HRegionServer为HBase的守护进程。
ssh slave2
jps
exit
6.切换至“主节点”,查看HDFS平台上Hbase。
hdfs dfs -lsr /hbase
7.启动HBase-shell。
hbase shell
8.HBase下建立带有一个列族family1的表table1。
create 'table1','family1'
9.向表table1中列族family1下建立列为column1,并向列中播入数据value-1。
put 'table1','myrow-1','family1:column1','value-1'
10.查询表table1中内容。
scan 'table1'
11.删除表。
disable 'table1'
drop 'table1'
12.退出HBase shell。
quit
13.停止Hbase进程。注意:这里速度有点慢,可能需要稍等几分钟。
stop-hbase.sh
14.停止Hadoop进程。
stop-all.sh
15.停止“主节点”,即master机上的zookeeper进程。
zkServer.sh stop
16.停止“从节点1”,即slave1机上的zookeeper进程。
ssh slave1
zkServer.sh stop
exit
17.停止“从节点2”,即slave2机上的zookeeper进程。
ssh slave2
文章来源:https://www.toymoban.com/news/detail-687731.html
zkServer.sh stop
文章来源地址https://www.toymoban.com/news/detail-687731.html
到了这里,关于HBase集群环境搭建与测试的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!