大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署

这篇具有很好参考价值的文章主要介绍了大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

实验环境:

实验步骤:

〇、Zookeeper安装配置:

一、安装前注意事项

二、HBase安装

 三、Hbase集群配置

1.配置hbase-env.sh文件,位于Hbase安装目录/conf/

2.配置hbase-site.xml文件,位于Hbase安装目录/conf/

3.配置regionservers

4.新建 backup-masters文件,添加备份HMaster机器名

四、将配置好的Hbase分发到其他机器

五、分发、刷新环境变量

六、常用命令

七、浏览器web验证

八、注意事项


实验环境:

操作系统:Ubuntu 18.04

Hadoop版本:3.1.3

JDK版本:1.8

Zookeeper版本:3.7.1

HBase版本:2.2.2

实验步骤:

〇、Zookeeper安装配置:

(30条消息) Zookeeper安装配置_木子一个Lee的博客-CSDN博客

一、安装前注意事项

查看每台服务器的时间是否一致,检查HBASE集群每台服务器的时间是否是一致的,不然会导致集群启动异常:

timedatectl status

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式 hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

可以看出是一致的,如果不一致需要校准。

二、HBase安装

下载安装包hbase-2.2.2-bin.tar.gz

解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local

tar -zxvf ./hbase-2.2.2-bin.tar.gz -C /usr/local

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

改名:

cd /usr/local
mv hbase-2.2.2 hbase

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

配置系统环境

vim /etc/profile

添加:

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin:/$HBASE_HOME/sbin

刷新环境变量

source /etc/profile

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

 三、Hbase集群配置

1.配置hbase-env.sh文件,位于Hbase安装目录/conf/

cd /usr/local/hbase/conf
vim hbase-env.sh

把最后一行的注释去除(解决hadoop和hbase的jar包冲突问题,为了不让hbase扫描hadoop的jar包),并且添加(第三条很重要!!!否则会出现地址占用、myid被改导致外部zookeeper启动失败等问题):

export JAVA_HOME=/usr/local/jdk
export HBASE_CLASSPATH=/usr/local/Hadoop
export HBASE_MANAGES_ZK=false

不用配置时区: 

export TZ=“Asia/Shanghai”(配置会造成日志文件时间早8个小时)

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

HBASE_CLASSPATH用于引导HBase找到Hadoop目录,一定要改成hadoop的目录,不然无法识别Hadoop集群名称

HBASE_MANAGES_ZK=true,则使用HBase自带的Zookeeper进行管理,只能实现单机模式,常用于测试环境,不能用于生产环境

设为false,启动独立的Zookeeper

建议:单机版HBase使用自带Zookeeper;集群安装HBase则采用单独Zookeeper集群

2.配置hbase-site.xml文件,位于Hbase安装目录/conf/

vim hbase-site.xml

添加: 

<configuration>
       <!--RegionServer 的共享目录,用来持久化 Hbase-->
       <property>
              <name>hbase.rootdir</name>
       <!-- 如果要指定HDFS上的目录,端口号要与hdfs-site.xml中设为一致-->
              <value>hdfs://master:9000/hbase</value>
       </property>
       <property>  <!--启用分布式集群-->
              <name>hbase.cluster.distributed</name>
              <value>true</value>
       </property>
       <property>   <!--默认HMaster HTTP访问端口-->
              <name>hbase.master.info.port</name>
              <value>16010</value>
       </property>
       <property>   <!--默认HRegionServer HTTP访问端口-->
              <name>hbase.regionserver.info.port</name>
              <value>16030</value>
       </property>
       <property>
              <name>hbase.zookeeper.quorum</name>
              <value>master:2181,slave1:2181,slave2:2181</value>
       </property>
<!--Zookeeper元数据快照的存储目录(需要和Zookeeper的zoo.cfg 配置文件中的属性一致)  -->
       <property>
              <name>hbase.zookeeper.property.dataDir</name>
              <value>/usr/local/zookeeper/data</value>
       </property>
<!-- 解决启动HMaster无法初始化WAL的问题 -->
       <property>
               <name>hbase.unsafe.stream.capability.enforce</name>
               <value>false</value>
       </property>
<!-- 备份的副本数(不会放在同一节点上),不能超过datanode的节点数。
            注意hadoop的hdfs-site.xml配置文件中也有dfs.replication这个参数,跟hbase-site.xml的dfs.replication参数是不同的,
            hbase的数据备份数需要再hbase-site.xml配置文件中单独设置!否则hbase写入的数据regionServer只会保存一份! -->
       <property>
              <name>dfs.replication</name>
              <value>2</value>
       </property>
<!--在hbase-site.xml文件中 修改增加 ,增大时间容错-->
       <property>
              <name>hbase.master.maxclockskew</name>
              <value>150000</value>
       </property>
</configuration>

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

3.配置regionservers

删除localhost

写入

slave1
slave2

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

4.新建 backup-masters文件,添加备份HMaster机器名

该文件不能写注释,启动时会把注释的那行当成服务器列表而导致启动失败:

vim backup-masters

设置备用master为slave1

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

四、将配置好的Hbase分发到其他机器

scp -r /usr/local/hbase root@slave1:/usr/local/
scp -r /usr/local/hbase root@slave2:/usr/local/

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

五、分发、刷新环境变量

cd
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc

然后在每个服务器上刷新环境变量:

source /etc/profile

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

六、常用命令

查看版本信息:

hbase version

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

启动(master机器)/*要先启动zookeeper和Hadoop

start-hbase.sh

master有HMaster,备用节点slave1有HRegionserver和HMaster

slave2有HRegionserver

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

关闭    /*先关闭HBase再关闭Hadoop

stop-hbase.sh 

启动某一个节点

hbase-daemon.sh start regionserver

启动所有节点

hbase-daemons.sh start regionserver

七、浏览器web验证

http://master:16010/master-status

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

http://slave1:16030/rs-status

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

http://slave2:16030/rs-status

hbase分布式安装,大数据开源,教程分享,hbase,大数据,分布式

八、注意事项

HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。
以下先决条件很重要,如未配置JAVA_HOME环境变量,会报错。

– JDK
– Hadoop( 单机模式不需要,伪分布式模式和分布式模式需要)
– SSH

启动关闭Hadoop和HBase的顺序一定是:

启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop文章来源地址https://www.toymoban.com/news/detail-720724.html

到了这里,关于大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~ 官网下载地址 博主因为课程需要以及版本问题,下载的

    2023年04月23日
    浏览(59)
  • 头歌大数据——HBase 伪分布式环境搭建

    第1关:HBASE伪分布式环境搭建 编程要求 好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将 HBase 安装在 /app 目录下,然后根据本关知识配置好伪分布式的 HBase ,最后点击测评即可通关。 测试说明 程序会检测你的 HBase 服务和 Hadoop 服务是否启动,以及伪分布

    2024年02月08日
    浏览(42)
  • HBase 伪分布式环境搭建 - 头歌

    mkdir /app cd /opt tar -zxvf hbase-2.1.1-bin.tar.gz -C /app cd /app cd hbase-2.1.1 cd conf echo $JAVA_HOME /usr/lib/jvm/jdk1.8.0_111 vim hbase-env.sh 进入文件,找到下图中红色框框内的路径,将#去掉,把=号后面的路径改成/usr/lib/jvm/jdk1.8.0_111。注意:记得先按A,才能改。 按esc键,输入  :wq  ,回车。 vim hb

    2024年04月28日
    浏览(26)
  • ZooKeeper+HBase分布式集群环境搭建

    安装版本:hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1 一、zookeeper 集群搭建与配置 1. 下载zookeeper安装包 2. 解压移动zookeeper 3. 修改配置文件(创建文件夹) 4. 进入conf/ 5. 修改zoo.cfg文件 6. 进入/usr/local/zookeeper-3.4.12/zkdatas/这个路径下创建一个文件,文件名为myid ,文件内容为1 7. 拷贝到

    2024年02月08日
    浏览(31)
  • Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建

    搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联,都是从零开始搭建。 如果将文章中的配置文件修改内容复制粘贴的话,所有配置文件添加的内容后面的注释记得删除,可能会报错。保险一点删除最好。 上传安装包解压并重命名 rz上传 如果没有安装rz可以使用命

    2024年02月06日
    浏览(55)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(34)
  • Linux环境搭建Hadoop及完全分布式集群

    Hadoop是一个开源的分布式计算框架,旨在处理大规模数据集和进行并行计算。核心包括两个组件:HFDS、MapReduce。 配置方案 各虚拟机的用户名分别为test0、test1、test2,主机名为hadoop100、hadoop101、hadoop102 虚拟机的分配如下: hadoop100:NameNode + ResourceManager hadoop101:DataNode + NodeM

    2024年03月23日
    浏览(28)
  • 【教程】Hadoop完全分布式环境搭建全过程

    保姆级入门教程:图片讲解 + 各种问题解决方案 集群服务器:hadoop102、hadoop103和hadoop104 虚拟机版本:CentOS7-1804 资源分享处(文章最后)提供CentOS7和Hadoop各组件压缩包(也可以自行下载,要注意版本兼容的问题),有需要自取~ 1, 模板虚拟机准备 2, 克隆三台虚拟机,作为

    2024年02月06日
    浏览(38)
  • hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    本次搭建完全分布式集群用到的环境有: jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com/dk7WgaVk 密码:553ubk 本次完全分布式集群搭建需要提前建立好三台虚拟机,我分别把它们的主机名命名为:master,slave1,slave2 一.配置免密登陆 首先

    2024年02月10日
    浏览(33)
  • 大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

    目录 Hadoop运行模式——完全分布式 1、准备3台虚拟机(关闭防火墙、配置静态IP 和 主机名称) 2、安装JDK 和 Hadoop 并配置JDK和Hadoop的环境变量 3、配置完全分布式集群 4、集群配置 1)集群部署规划 2)配置文件说明 3)配置集群 5、集群启动 与 测试 1)workers的配置 2)启动集

    2024年02月21日
    浏览(83)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包