Hbase的安装配置

这篇具有很好参考价值的文章主要介绍了Hbase的安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

注:本文默认已经完成hadoop的下载以及环境配置

1.上传zookeeper和hbase压缩包到指令路径并且解压

(理论上讲,hbase其实内置了zookeeper,我们也可以不另外下载,另外下载的目的在于减少组件间依赖性)

cd /home
mkir hbase
cd /home/hbase
tar -zxvf hbase-2.4.4-bin.tar.gz
tar -zxvf zookeeper-3.4.14.jar

  注:这里的下载、解压地址没有特殊规定。本文下载的地址为/home/hbase目录

---------------------------------------------------------------------------------------------------------------------------------

2.配置zookeeper(也可以不配置zookeeper,配置的原因是防止Hmaster启动后不久自动下线)

打开zookeeper解压文件位置,进入conf目录。本文中地址为/homr/hbase/zookeeper-3.4.14/conf,具体以个人实际地址为准。输入以下代码,进行配置工作

mv zoo_sample.cfg zoo.cfg
vim zoo.cfg

进行如下修改:

添加以下内容:

server.1=hadoop11:2888:3888
server.2=hadoop12:2888:3888
server.3=hadoop13:2888:3888

 注:以自己搭建hadoop的机器的机器名为准

修改以下内容:

dataDir=/home/hbase/zookeeper-3.3.4/data

切换回dataDir指向的目录,并建立data目录

cd /home/hbase/zookeeper-3.3.4
mkdir data 
cd data

在data目录中,编辑一个名叫myid的文件,内容就是server.x中x的值,比如hadoop11机器对应的是server.1,那么就这么来修改:

vim myid

#然后在文本中按i进入编辑模式,输入1,按esc退出,再按:wq保存修改

剩下两台机器以此类推

---------------------------------------------------------------------------------------------------------------------------------

3.配置hbase

1.

进入conf目录,修改hbase-env.sh配置文件

export JAVA_HOME=/home/java/jdk1.8.0_212
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

第一条指令一定要写,第二条可以不写,写了的目的在于规避hbase自带的hadoop包版本和已搭建的hadoop版本冲突的问题。如果发生了冲突,那么在后面启动hbase时会出现如下报错:

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hbase-2.1.5/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
running master, logging to /home/hadoop/hbase-2.1.5/bin/../logs/hbase-csr-master-hadoop01.out
: running regionserver, logging to /home/hadoop/hbase-2.1.5/bin/../logs/hbase-csr-regionserver-hadoop01.out

配置完成后,使用source命令使修改生效

2.修改/etc/profile文件

vim /etc/profile

本人的路径配置如下,仅供参考,文件路径以自己的下载路径为准:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/home/hadoop
export HADOOP_HOME=/home/hadoop/hadoop-3.3.4/
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HOME/bin
export PATH

配置完成后,同理,使用source命令使其生效

3.修改hbase-site.xml文件

配置如下:

<property>
    <name>hbase.rootdir</name>				
    <value>hdfs://192.168.198.100:9000/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>		
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>	
    <value>/home/hbase/zookeeper-3.4.14</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>			
    <value>hadoop11:2181,hadoop12:2181,hadoop13:2181</value>	
  </property>
  <property>
    <name>hbase.master.info.port</name>		
  <value>60010</value>
</property>

注:第一个property的配置要与hadoop中hdfs使用的端口一致,因为我hdfs使用的端口就是9000而不是8020,所以保留了9000端口。此外,机器名(或者ip地址)和zookeeper下载地址以自己的为准

特别注意:hbase.zookeeper.quorum中三个地址必须紧挨,不能有任何空格!不然在日志中会出现如下报错:

zookeeper.RecoverableZooKeeper: Unable to create ZooKeeper Connection
java.net.UnknownHostException:  192.168.198.202: 未知的名称或服务

zookeeper.RecoverableZooKeeper: Unable to create ZooKeeper Connection
java.net.UnknownHostException

zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts

regionserver.HRegionServer: Failed construction RegionServer
org.apache.hadoop.hbase.ZooKeeperConnectionException: master:160000x0, quorum=192.168.198.100:2181, 192.168.198.101:2181, 192.168.198.102:2181, baseZNode=/hbase Unexpected KeeperException creating base node

org.apache.zookeeper.KeeperException$OperationTimeoutException: KeeperErrorCode = OperationTimeout

 [main] master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster.

这是非常具有迷惑性的一类错误,只有在日志中才会找到,在启动界面不会有任何报错甚至还可以使用hbase shell命令进入数据库!用jps检查守护线程时,头4次(经本人实验,最多可以坚持7次!隐蔽性可见一斑)也会有Hmaster线程出现!这种错误也是引起Hmaster自动消失一类原因。另一类引发Hmaster消失的错误本文已经通过配置zookeeper消除,即Hbase自带的zookeeper奔溃了。报错如下:

quorum.QuorumCnxManager: Cannot open channel to 1 at election address node2/192.168.56.12:3888
java.net.ConnectException: Connection refused(Connection refused)

有一种很简单的检查方法,即尝试能不能进入60010端口,如果进不去,但是刚登进去后,使用jps可以检查出Hmaster线程,那就发生了此类错误。

4.配置域服务器(还是conf目录下)

vim regionservers

#内容同hadoop中workers的配置
192.168.198.100
192.168.198.101
192.168.198.102

5.分发hbase以及zookeeper(以自己的地址为准)

scp -r /home/hbase/zookeeper-3.4.14 root@192.168.198.101:/home/hbase
scp -r /home/hbase/zookeeper-3.4.14 root@192.168.198.102:/home/hbase
scp -r /home/hbase/hbase-2.1.5 root@192.168.198.101:/home/hbase
scp -r /home/hbase/hbase-2.1.5 root@192.168.198.102:/home/hbase

6.切换到hbase压缩后目录,然后,hbase,启动!

bin/start-hbase.sh

Hbase的安装配置,hbase

---------------------------------------------------------------------------------------------------------------------------------

其他温馨提醒:

hbase启动或停止卡住的时侯,请不要采用直接虚拟机断电这么暴力的办法,这样做的后果会很严重且无法挽回,会造成你的logs目录整个直接丢失,完全无法开机:

错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.HBaseConfTool
错误: 找不到或无法加载主类 org.apache.hadoop.hbase.zookeeper.ZKServerTool
running master, logging to /home/haoop/hbase-2.1.5/logs/hbase-csr-master-hadoop01.out
nice: /home/haoop/hbase-2.1.5/bin/hbase: 没有那个文件或目录
cat: /home/haoop/hbase-2.1.5/conf/regionservers: 没有那个文件或目录
cat: /home/haoop/hbase-2.1.5/conf/regionservers: 没有那个文件或目录

如果出现了这种情况,那就可以重新建虚拟机重新搭建Hadoop了。暂时没找到解决的办法。格式化已存在的hadoop或者重新解压hbase都是没有用的(亲测无效)。希望大家都遇不到这种情况,哈哈哈文章来源地址https://www.toymoban.com/news/detail-794668.html

到了这里,关于Hbase的安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop安装配置HBase

    1、文件准备 http://archive.apache.org/dist/hbase/1.3.1/下载hbase-1.3.1-bin.tar.gz并上传到虚拟机/root目录下。 2、安装          切换目录 [root@hadoop00 ~]# cd /usr/local 新建文件夹 [root@hadoop00 local]# mkdir hbase 解压文件 [root@hadoop00 local]# tar zxvf /root/hbase-1.3.1-bin.tar.gz -C /usr/local/hbase 3、环境变量

    2024年01月24日
    浏览(50)
  • 大数据:HBase安装、配置及使用

    HBase官网:http://archive.apache.org/dist/hbase/ 下载 hbase-2.2.2-bin.tar.gz。 1. 搭建hadoop环境 首先确保安装好了Hadoop3.1.3,因为HBase对Hadoop具有版本依赖性,并且所有操作是在新建的名为hadoop的用户下执行的。可参考我的另一篇博文https://blog.csdn.net/Acegem/article/details/122880274?spm=1001.2014.300

    2024年02月07日
    浏览(29)
  • 实验三 HBase1.2.6安装及配置

    实验一 VMware 17 虚拟机下安装Ubuntu16.04 实验二 Hdoop2.7.6+JDK1.8+SSH的安装部署与基本操作 实验三 HBase1.2.6安装及配置 在安装HBase1.2.6之前,需要安装好hadoop2.7.6。 本篇文章参考:HBase2.2.2安装和编程实践指南 Hbase下载两种方式: 其一是去官网下载:http://archive.apache.org/dist/hbase/ 其二

    2024年02月08日
    浏览(35)
  • Ubuntu实现Hive与HBase的安装与配置(单机)

    (一)Hive的安装与配置  Hive下载链接: https://mirrors.bfsu.edu.cn/apache/hive/ (1)将下载好的Hive文件(版本:3.1.2)解压到/usr/local目录下 (2)切换至目录 /usr/local,将文件夹名改为hive,并且修改文件权限给本账户 配置环境变量:为了方便使用,需把hive命令加入到环境变量中去

    2024年04月08日
    浏览(44)
  • Ubuntu系统中分布式安装配置HBase-2.3.7

     HBase是一个基于Hadoop的分布式列式数据库,可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群,并进行简单的数据操作。 在三个Ubuntu系统上分布式安装配置HBase-2.3.7,主要步骤包括: 准备工作:下载安装包,设置环境变量,解压安装包

    2024年02月06日
    浏览(40)
  • HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式(详细安装+配置+增删改查测试脚本)(附开源镜像站地址)

    HBase的 官网 内容还是挺多的,下载安装包还是使用 清华大学开源软件镜像站 会快一些 ⚡️ 本文的安装文件为:hbase-2.4.5-bin.tar.gz HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。运行时不仅需要 Hadoop 还依赖 JDK 环境,HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需

    2024年04月11日
    浏览(44)
  • Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm设置 在安装过程中推荐设置root用户密码为1234方面后续操作 1.设置主机名 以hadoop3为例 2.设置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后执行 service network restart 刷新网卡 3.工具连接(三个机器都要设置) 4.主机映射 windows: C:WindowsSystem32driversetc 修改这个路

    2024年02月03日
    浏览(41)
  • 配置Hbase

    Zookeeper 正常部署 Hadoop 正常部署 HBase 的解压 2.1.4 HBase 的配置文件 1)hbase-env.sh 修改内容,可以添加到最后: export HBASE_MANAGES_ZK=false 2)hbase-site.xml 修改内容: 高可用(可选) 在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期,均衡 RegionServer 的负载, 如果 HMaster 挂掉了,那么

    2024年02月10日
    浏览(21)
  • HBase核心参数配置

    参数配置是一个富有技巧性的工作,每个参数的背后都有着对应模块的工作原理。接下来对HBase中常见的参数进行分类整理,解释每个参数的实际意义以及在生产线上的配置注意事项。 hbase.hregion.max.filesize : 默认10G,简单理解为,Region中最大的Store中所有文件大小一旦大于该

    2024年02月16日
    浏览(31)
  • Hbase配置手册

    1)下载hbase   解压到每台服务器的/data/soft  解压 建立软连 2)配置hbase   前提是安装完成hadoop,默认在namenode上进行  1.修改conf/hbase-env.sh,添加jdk支持  2. 修改conf/hbase-site.xml,  hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机  hbase.cluster.distributed设

    2024年02月07日
    浏览(16)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包