HBase集群环境搭建与测试

这篇具有很好参考价值的文章主要介绍了HBase集群环境搭建与测试。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@
本文章收录于专栏(点击传送):【大数据学习】

💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

1.HBase集群环境介绍

HBase集群由多个RegionServer节点和一个或多个HMaster节点组成。HMaster节点负责管理元数据(例如表的位置、分区等),并协调集群中的各个节点。RegionServer节点负责存储和处理数据,并与HMaster节点通信以获取元数据信息。

HBase集群的主要特点包括:

  • 可靠性:HBase采用数据副本和RegionServer读写分离等机制来实现容错和恢复能力,即使部分节点出现故障,集群仍然可用。
  • 高性能:HBase通过将表分割成不同的Region来进行水平扩展,可以处理海量数据并具有很高的读写性能。
  • 数据模型:HBase提供类似于Google的Bigtable的列族存储模型,可以灵活定义列族和列,支持动态添加或删除列族和列。
  • 多版本控制:HBase支持存储多个版本的数据,可以回滚到先前的状态,也可以查询以前的历史值。
    HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

2.搭建环境准备

本次用到的环境有:
Oracle Linux 7.4
Zookeeper3.4.6集群环境
Hadoop2.7.4集群环境

注:HBase依赖于ZooKeeper来进行分布式协调和管理,因此在搭建启用HBASE之前,需要提前搭建并启动好zookeeper集群环境,zookeeper的搭建和启动可以参考我的上一篇文章:ZooKeeper集群环境搭建

3.搭建步骤

1.启动zookeeper集群环境,zookeeper的搭建和启动可以参考我的上一篇文章:ZooKeeper集群环境搭建

2.解压HBase压缩文件至/opt目录。

tar -zxvf /root/experiment/file/hbase-1.2.6-bin.tar.gz -C /opt

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

3.修改解压后文件夹的名字为hbase。

cd /opt
mv /opt/hbase-1.2.6 /opt/hbase

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

4.查找Java安装路径

echo $JAVA_HOME

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

5.配置hbase-env.sh文件

vim /opt/hbase/conf/hbase-env.sh

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

6.按键:set nu回车设置行号,部分截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

7.按键27gg,光标定位到27行,部分截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

8.按键 i ,更改代码如下:

export JAVA_HOME=/usr/lib/java-1.8

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

9.按键Esc,按键128gg,光标定位到128行,部分截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

10.按键 i ,设置HBase使用外部独立Zookeeper集群,更改代码如下:

export HBASE_MANAGES_ZK=false

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

11.按键Esc,按键”:wq!”保存退出。
12.配置hbase-site.xml文件

vim /opt/hbase/conf/hbase-site.xml

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

13.按键:set nu回车设置行号,部分截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

14.按键24gg,光标定位到24行,部分截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

15.按键 i ,在标签之间填加代码如下:

<property>
	<name>hbase.zookeeper.quorum</name>
	<value>master,slave1,slave2</value>
</property>
<property>
	<name>hbase.zookeeper.property.dataDir</name>
	<value>/root/hbase</value>
</property>
<property>
	<name>dfs.datanode.max.transfer.threads</name>
	<value>4096</value>
</property>
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://master:8020/hbase</value>
</property>
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

16.按键Esc,按键”:wq!”保存退出。
17.配置regionservers文件

vim /opt/hbase/conf/regionservers

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

18.按键dd,删除第一行“localhost”,截图如下
HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

19.按键 i ,填加代码如下:

slave1
slave2

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

按键Esc,按键”:wq!”保存退出。
20.配置hbase环境变量

vim ~/.bashrc

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

21.按键“shift+g”组合键,达到页面底部。
22.按键 i ,填加代码如下:

export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

23.按键Esc,按键”:wq!”保存退出。
24.刷新配置文件,使新加Hbase环境变量生效。

source ~/.bashrc

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

25.拷贝master主机“.bashrc”文件到slave1、slave2从机“~”下。

scp ~/.bashrc slave1:~/
scp ~/.bashrc slave2:~/

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

26.拷贝配置好的hbase文件夹到slave1、slave2从机“/opt”下。

scp -r /opt/hbase slave1:/opt

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

scp -r /opt/hbase slave2:/opt

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

27.切换至“从节点1”机器,双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件,使新加Hbase环境变量生效,退回master主机。

ssh slave1
source ~/.bashrc
exit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

28.切换至“从节点2”机器,双击桌面“Xfce终端”图标打开命令窗口。刷新配置文件,使新加Hbase环境变量生效,退回master主机。

ssh slave2
source ~/.bashrc
exit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

4.HBase集群环境启动、验证和停止

1.切换至“主节点”,双击桌面“Xfce终端”图标打开命令窗口,启动Hadoop。

start-all.sh

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

2.启动HBase。

start-hbase.sh

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

3.查看守护进程。其中HMaster为HBase的守护进程。

jps

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

4.切换至“从节点1”,查看守护进程。其中HRegionServer为HBase的守护进程。

ssh slave1
jps
exit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

5.切换至“从节点2”,查看守护进程。其中HRegionServer为HBase的守护进程。

ssh slave2
jps
exit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

6.切换至“主节点”,查看HDFS平台上Hbase。

hdfs dfs -lsr /hbase

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

7.启动HBase-shell。

hbase shell

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

8.HBase下建立带有一个列族family1的表table1。

create 'table1','family1'

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

9.向表table1中列族family1下建立列为column1,并向列中播入数据value-1。

put 'table1','myrow-1','family1:column1','value-1'

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

10.查询表table1中内容。

scan 'table1'

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

11.删除表。

disable 'table1'
drop 'table1'

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

12.退出HBase shell。

quit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

13.停止Hbase进程。注意:这里速度有点慢,可能需要稍等几分钟。

stop-hbase.sh

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

14.停止Hadoop进程。

stop-all.sh

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

15.停止“主节点”,即master机上的zookeeper进程。

zkServer.sh stop

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

16.停止“从节点1”,即slave1机上的zookeeper进程。

ssh slave1
zkServer.sh stop
exit

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

17.停止“从节点2”,即slave2机上的zookeeper进程。

ssh slave2

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux

zkServer.sh stop

HBase集群环境搭建与测试,大数据技术学习,hbase,数据库,大数据,运维,分布式,linux文章来源地址https://www.toymoban.com/news/detail-687731.html

到了这里,关于HBase集群环境搭建与测试的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 头歌大数据——HBase 伪分布式环境搭建

    第1关:HBASE伪分布式环境搭建 编程要求 好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将 HBase 安装在 /app 目录下,然后根据本关知识配置好伪分布式的 HBase ,最后点击测评即可通关。 测试说明 程序会检测你的 HBase 服务和 Hadoop 服务是否启动,以及伪分布

    2024年02月08日
    浏览(74)
  • HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~ 官网下载地址 博主因为课程需要以及版本问题,下载的

    2023年04月23日
    浏览(69)
  • Hbase集群的搭建

    hadoop、zookeeper集群已正常安装 hadoop集群搭建 zookeeper集群搭建 hadoop-001 hadoop-002 hadoop-003 Hbase Hbase Hbase 解压安装包到指定目录/export/module下 修改名字 修改hbase/conf/hbase-env.sh export HBASE_MANAGES_ZK=false 修改hbase/conf/hbase-site.xml configuration   property     namehbase.rootdir/name     valuehdfs://

    2024年02月04日
    浏览(35)
  • Hbase 集群搭建

    Apache HBase – Apache HBase Downloads 选择版本 https://dlcdn.apache.org/hbase/2.4.17/hbase-2.4.17-bin.tar.gz Hbase是一个分布式系统 其中有一个管理角色: HMaster (一般2台  ,一台active、一台backup) 其它的数据节点角色: HRegionServer (很多台,看数据容量) 客户端要查数据, [root@node1 ~]# tar -zxvf hbase-

    2024年02月19日
    浏览(33)
  • 搭建HBase分布式集群

    0. Prerequisite There are 3 VMs - hadoop3/hadoop4/hadoop5 for fully-distributed HBase cluster, the setup plan looks like: hadoop3 hadoop4 hadoop5 Hadoop hdfs NameNode:8020 DateNode:50010 JobHistoryServer:19888 DataNode:50010 SecondaryNameNode:50090 DateNode:50010 Hadoop yarn NodeManger:8040 ResourceMananger:8088 NodeManger:8040 NodeManger:8040 Zookeeper Quor

    2024年02月08日
    浏览(36)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(100)
  • 搭建HBase伪分布式集群

    1. Install zookeeper 1) download zookeeper from https://zookeeper.apache.org/releases.html#download 2) extract binary 3) configurate zoo.cfg 4) start zookeeper 5) try zookeeper Note: use following command to stop zookeeper 2. Install Hadoop 1) download Hadoop from https://hadoop.apache.org/releases.html 2) extract binary 3) configurate 4) format the filesyst

    2024年02月10日
    浏览(47)
  • mac上搭建hbase伪集群

    之前我们已经搭建过了 hbase单点环境,(单机版搭建参见: https://blog.csdn.net/a15835774652/article/details/135569456) 但是 为了模拟一把集群环境 我们还是尝试搭建一个伪集群版 jdk环境 1.8+ hdfs (hadoop环境 可选) 搭建参考 https://blog.csdn.net/a15835774652/article/details/135572760 搭建过 hadoop 才发

    2024年02月22日
    浏览(39)
  • Linux CentOS下大数据环境搭建(zookeeper+hadoop+hbase+spark+scala)

    本篇文章是结合我个人学习经历所写,如果遇到什么问题或者我有什么错误,欢迎讨论。 百度网盘链接:https://pan.baidu.com/s/1DCkQQVYqYHYtPws9hWGpgw?pwd=zh1y 提取码:zh1y 软件在连接中VMwareWorkstation_V16.2.1_XiTongZhiJia的文件夹下。 双击运行安装包,这里下一步即可。 这里勾选我接受许可

    2024年04月15日
    浏览(69)
  • HBase详解(对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解)

    我本想用MySQL来与HBase作比较,但发现他们两者毫无可比性,因为两者运用领域不同,各自有各自的优点,就好比爬山穿登山鞋,潜水穿脚蹼一般。 一门技术的兴起,一个优秀的开源项目的存在肯定是有它所存在的意义,正如大数据一样,正是因为随着时间的发展,随着技术

    2024年02月11日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包