HBase 分布式搭建

这篇具有很好参考价值的文章主要介绍了HBase 分布式搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言:

请先确保 Hadoop 集群搭建完成。

  • Hadoop 完全分布式搭建(超详细)

搭建环境介绍:

三台主机,一主两从,系统为 Centos 7.5。

相关组件版本信息如下:

  • jdk1.8
  • hadoop-3.1.3
  • zookeeper-3.5.7
  • hbase-2.2.3

注意,以下安装教程中涉及到的路径请替换成自己的!

ZooKeeper 安装

解压并改名
# 解压文件
cd /opt/software/
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

# 改名
cd /opt/module
mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7
添加环境变量
vim /etc/profile

在文件末尾插入如下代码:

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

最后使修改生效:source /etc/profile

配置服务器编号

在 ZooKeeper 安装目录下创建一个文件夹 zkData,在 zkData 中创建一个文件 myid 用以保存服务器编号。

# 进入 ZooKeeper 安装目录
cd $ZOOKEEPER_HOME

# 创建文件夹
mkdir zkData

# 创建文件并添加编号
cd zkData

echo 1 > myid
配置 zoo.cfg 文件
# 进入 ZooKeeper 的配置文件目录
cd $ZOOKEEPER_HOME/conf/

# 修改文件名称
mv zoo_sample.cfg zoo.cfg

# 编辑 zoo.cfg 文件
vim zoo.cfg

修改数据的存储位置,指定为:/opt/module/zookeeper-3.5.7/zkData

然后在文件末尾添加服务器配置,如下所示:

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

#监听所有IP
quorumListenOnAllIPs=true

注意,每一行的后面都不要有空格。

hbase2.2.3安装,hbase,分布式,hadoop

添加完成后保存并退出。

文件分发与同步

在 master 服务器中将 ZooKeeper 安装文件分发到其它服务器上。

scp -r /opt/module/zookeeper-3.5.7/ slave1:/opt/module/
scp -r /opt/module/zookeeper-3.5.7/ slave2:/opt/module/

在 master 服务器中将环境变量文件同步至其它服务器中。

rsync /etc/profile root@slave1:/etc/profile
rsync /etc/profile root@slave2:/etc/profile

我们分别进入 slave1、slave2 服务器中,先初始化环境变量,然后修改 ZooKeeper 编号,编辑 myid 文件,依次写入为:23

启动 ZooKeeper

我们分别进入 master、slave1、slave2 服务器中,启动 ZooKeeper 服务。

# 启动 ZooKeeper
zkServer.sh start

启动完成后会显示出如下 STARTED 提示:

hbase2.2.3安装,hbase,分布式,hadoop

我们也可以通过命令 jps 来检查 ZooKeeper 服务是否启动,如下所示:

hbase2.2.3安装,hbase,分布式,hadoop

HBase 安装

解压
cd /opt/software/

# 解压 HBase 安装包
tar -zxvf hbase-2.2.3-bin.tar.gz -C /opt/module/
配置环境变量

通过 vim /etc/profile 命令编辑配置文件,在文件末尾输入如下代码(不可以有空格):

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase-2.2.3
export PATH=$PATH:$HBASE_HOME/bin

然后,保存并退出。执行命令 source /etc/profile,使刚刚的配置生效。

配置 HBase 相关文件

首先切换到 HBase 安装文件的 conf 目录下。

cd $HBASE_HOME/conf

1、修改 hbase-env.sh 文件

在文件末尾添加如下内容:

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/opt/module/jdk1.8

添加完成后保存并退出。

2、配置 hbase-site.xml 文件

configuration 标签中添加如下内容:

   <!--指定 zookeeper 服务器 -->
   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>master,slave1,slave2</value>
   </property>

   <!--指定 hbase 根路径 -->
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://master:8020/hbase</value>
   </property>

   <!--将 hbase 设置为分布式部署。 -->
   <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
   </property>
  
   <!-- 避免出现启动错误。 -->
   <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
   </property>

修改完成后保存并退出。

3、修改 regionservers 文件

添加如下内容:

master
slave1
slave2

添加完成后保存并退出。

解决 log4j 兼容性问题

HBase 与 Hadoop 在运行时会出现 log4j 兼容性问题,这是因为 HBase 的 log4j 版本与 Hadoop 的产生了冲突,我们这里将 HBase 的 log4j 设置为备份。

mv /opt/module/hbase-2.2.3/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar /opt/module/hbase-2.2.3/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar.bak
文件分发与同步

将 master 服务器的 HBase 安装文件分发到 slave1、slave2 服务器上。

cd /opt/module

scp -r hbase-2.2.3/ slave1:/opt/module
scp -r hbase-2.2.3/ slave2:/opt/module

将 master 服务器的环境变量文件与 slave1、slave2 服务器进行同步。

rsync /etc/profile slave1:/etc/profile
rsync /etc/profile slave2:/etc/profile

在 slave1、slave2 服务器上分别执行 source /etc/profile 使发送来的配置生效。

启动 HBase 集群

只需要在 master 服务器上执行。

# 启动 HBase 服务
start-hbase.sh

启动后会出现如下提示:

hbase2.2.3安装,hbase,分布式,hadoop

验证 HBase 节点在三台机器上的运行情况,正常启动如下图所示:

hbase2.2.3安装,hbase,分布式,hadoop

HBase 分布式搭建完成啦!文章来源地址https://www.toymoban.com/news/detail-764553.html

到了这里,关于HBase 分布式搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HBase 伪分布式环境搭建 - 头歌

    mkdir /app cd /opt tar -zxvf hbase-2.1.1-bin.tar.gz -C /app cd /app cd hbase-2.1.1 cd conf echo $JAVA_HOME /usr/lib/jvm/jdk1.8.0_111 vim hbase-env.sh 进入文件,找到下图中红色框框内的路径,将#去掉,把=号后面的路径改成/usr/lib/jvm/jdk1.8.0_111。注意:记得先按A,才能改。 按esc键,输入  :wq  ,回车。 vim hb

    2024年04月28日
    浏览(41)
  • HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~ 官网下载地址 博主因为课程需要以及版本问题,下载的

    2023年04月23日
    浏览(69)
  • Hbase数据库完全分布式搭建以及java中操作Hbase

    基础的环境准备不在赘述,包括jdk安装,防火墙关闭,网络配置,环境变量的配置,各个节点之间进行免密等操作等。使用的版本2.0.5. 参考官方文档 分布式的部署,都是在单节点服务的基础配置好配置,直接分发到其他节点即可。 jdk路径的配置,以及不适用内部自带的zk. 配

    2024年02月03日
    浏览(49)
  • ZooKeeper+HBase分布式集群环境搭建

    安装版本:hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1 一、zookeeper 集群搭建与配置 1. 下载zookeeper安装包 2. 解压移动zookeeper 3. 修改配置文件(创建文件夹) 4. 进入conf/ 5. 修改zoo.cfg文件 6. 进入/usr/local/zookeeper-3.4.12/zkdatas/这个路径下创建一个文件,文件名为myid ,文件内容为1 7. 拷贝到

    2024年02月08日
    浏览(48)
  • hbase分布式安装

    目录 1.安装Hbase 2.配置文件 3.Hbase服务启动      Zookeeper和Hadoop集群正常启动           进入/export/software目录,将hbase软件包导入该目录下。解压hbase软件包 到/export/servers目录下,并重命名为hbase。         进入hbase安装目录下,进入conf目录,修改hbase-env.sh、 hbase-si

    2024年02月10日
    浏览(54)
  • 头歌大数据——HBase 伪分布式环境搭建

    第1关:HBASE伪分布式环境搭建 编程要求 好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将 HBase 安装在 /app 目录下,然后根据本关知识配置好伪分布式的 HBase ,最后点击测评即可通关。 测试说明 程序会检测你的 HBase 服务和 Hadoop 服务是否启动,以及伪分布

    2024年02月08日
    浏览(73)
  • HBase(单机)伪分布式安装

    准备工作:Hadoop已经安装、hbase-1.2.6-bin安装包。 1、上传hbase-1.2.6-bin.tar.gz压缩包到/home/hadoop目录下,并使用tar xvf 解压。 2、终端下输入:vim .bashrc,即用vim编辑器打开bashrc文件。 3、在bashrc文件的末尾设置如下Hbase的环境变量,要注意hbase解压后的文件名是hbase-1.2.6还是hbase-1

    2024年02月04日
    浏览(61)
  • Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

    集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.102 hadoop02 从节点 Hadoop完全分布式环境搭建请移步传送门 先在主节点上进行安装和配置,随后分发到各个从节点上。 1.1 解压zookeeper并添加环境变量 1)解压zookeeper到/usr/local文件夹

    2024年02月04日
    浏览(46)
  • Ubuntu系统中分布式安装配置HBase-2.3.7

     HBase是一个基于Hadoop的分布式列式数据库,可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群,并进行简单的数据操作。 在三个Ubuntu系统上分布式安装配置HBase-2.3.7,主要步骤包括: 准备工作:下载安装包,设置环境变量,解压安装包

    2024年02月06日
    浏览(41)
  • VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装

    Hello,world!    🐒本篇博客使用到的工具有:VMware16 ,Xftp7 若不熟悉操作命令,推荐使用带GUI页面的CentOS7虚拟机 我将使用带GUI页面的虚拟机演示 虚拟机(Virtual Machine) 指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算

    2024年02月07日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包