Ubuntu系统中分布式安装配置HBase-2.3.7

这篇具有很好参考价值的文章主要介绍了Ubuntu系统中分布式安装配置HBase-2.3.7。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 HBase是一个基于Hadoop的分布式列式数据库,可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群,并进行简单的数据操作。

在三个Ubuntu系统上分布式安装配置HBase-2.3.7,主要步骤包括:

  • 准备工作:下载安装包,设置环境变量,解压安装包。
  • 安装配置HBase:编辑配置文件,指定分布式模式,数据目录,Zookeeper地址,RegionServer列表,分发安装包。
  • 启动HBase集群:启动服务,查看状态,使用客户端连接。

一、准备工作

  • 首先确保已经安装配置好Hadoop和Zookeeper,并且可以正常运行。本文假设已经按照之前文章的步骤搭建了一个三节点的Hadoop集群和一个三节点的Zookeeper集群,它们的IP地址和主机名分别如下:
IP地址 主机名
192.168.1.100 hadoop100
192.168.1.200 hadoop200
192.168.1.201 hadoop201
  • 然后官网下载HBase-2.3.7的安装包
  • 接着在hadoop100上将下载的安装包放到桌面,然后解压到/usr/local/hbase目录下,例如:
tar zxvf ~/Desktop/hbase-2.3.7-bin.tar.gz -C /usr/local
mv /usr/local/hbase-2.3.7 /usr/local/hbase
  • 最后在hadoop100上设置HBASE_HOME环境变量,可以在/etc/profile文件中添加如下内容:
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

然后执行source /etc/profile命令使配置生效。

二、安装配置HBase

  • 在hadoop100上编辑$HBASE_HOME/conf/hbase-env.sh文件,取消以下几行的注释,并修改其中内容:
export JAVA_HOME=/usr/local/java/jdk1.8.0_341 # 根据实际的JAVA_HOME路径修改
export HBASE_MANAGES_ZK=false # 设置为false,表示使用外部的Zookeeper集群
export HBASE_CLASSPATH=/usr/local/hadoop/hadoop-3.2.4/etc/hadoop # 添加Hadoop的配置文件路径
export LD_LIBRARY_PATH=/usr/local/hadoop/hadoop-3.2.4/lib/native

如果报错:HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_OPTS: invalid variable name

##修改配置文件最后一项配置,取消注释
# Tell HBase whether it should include Hadoop's lib when start up,
# the default value is false,means that includes Hadoop's lib.
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"
  •  在hadoop100上编辑$HBASE_HOME/conf/hbase-site.xml文件,添加以下内容:
<configuration>
<property>
<!-- 指定HBase在分布式模式下运行 -->
	<name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!-- 临时文件存储位置 -->
<property>
    <name>hbase.tmp.dir</name>
    <value>/home/c914/hbasetsst/tmp</value>
</property>
<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>
<!-- 指定Zookeeper集群的地址和端口 -->
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>hadoop100,hadoop200,hadoop201</value>
</property>
<!-- 配置hbase存储位置,根据自己的hadoop集群配置端口 -->
<property>
	<name>hbase.rootdir</name>
    <value>hdfs://hadoop100:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hbase/zk</value>
</property>

</configuration>

注意,这里的hbase.rootdir的值要和Hadoop配置中core-site.xml里fs.defaultFS的值一致,而hbase.zookeeper.quorum的值要和Zookeeper配置中zoo.cfg里server.x的值一致。

  • 在hadoop100上编辑$HBASE_HOME/conf/regionservers文件,添加以下内容:
hadoop100
hadoop200
hadoop201

这里指定了三个节点都作为HBase的RegionServer,负责存储数据。

  • 在hadoop100上将配置好的HBase安装包分发到其他两个节点上,例如:
scp -r /usr/local/hbase/ c914@hadoop200:/usr/local/
scp -r /usr/local/hbase/ c914@hadoop201:/usr/local/

这里假设已经在三个节点上配置了免密登录,否则需要输入密码。

三、启动HBase集群

启动顺序是 先启动hadoop ==> 再启动zookeeper ==> 最后启动hbase。

关闭的顺序是 先关闭hbase ==> 再关闭zookeeper ==> 最后关闭hadoop。 

  • 在主节点hadoop100上执行如下命令启动HBase集群:
start-hbase.sh
  • 在任意一个节点上执行如下命令查看HBase集群的状态:
jps

ubuntu hbase,分布式存储与并行处理,hbase,分布式,ubuntu

ubuntu hbase,分布式存储与并行处理,hbase,分布式,ubuntu

ubuntu hbase,分布式存储与并行处理,hbase,分布式,ubuntu

如果输出中显示了HMaster和HRegionServer进程,说明该节点已经加入到集群中。

  • 在任意一个节点上执行如下命令使用命令行客户端连接到HBase集群:
hbase shell

如果连接成功,会进入一个交互式的shell环境,可以输入一些命令来操作HBase,例如:

ubuntu hbase,分布式存储与并行处理,hbase,分布式,ubuntu

管理界面

如果上述结果都输出成功,就可以到浏览器中查看网页:

http://192.168.1.100:16010/

主节点IP地址:16010/ 文章来源地址https://www.toymoban.com/news/detail-737457.html

到了这里,关于Ubuntu系统中分布式安装配置HBase-2.3.7的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hbase分布式安装

    目录 1.安装Hbase 2.配置文件 3.Hbase服务启动      Zookeeper和Hadoop集群正常启动           进入/export/software目录,将hbase软件包导入该目录下。解压hbase软件包 到/export/servers目录下,并重命名为hbase。         进入hbase安装目录下,进入conf目录,修改hbase-env.sh、 hbase-si

    2024年02月10日
    浏览(33)
  • HBase(单机)伪分布式安装

    准备工作:Hadoop已经安装、hbase-1.2.6-bin安装包。 1、上传hbase-1.2.6-bin.tar.gz压缩包到/home/hadoop目录下,并使用tar xvf 解压。 2、终端下输入:vim .bashrc,即用vim编辑器打开bashrc文件。 3、在bashrc文件的末尾设置如下Hbase的环境变量,要注意hbase解压后的文件名是hbase-1.2.6还是hbase-1

    2024年02月04日
    浏览(44)
  • Hbase 系列教程:HBase 分布式文件存储系统解析

    作者:禅与计算机程序设计艺术 : Hbase 是 Apache 的开源 NoSQL 数据库项目之一。它是一个分布式、可扩展的、高性能、面向列的非关系型数据库。作为 Hadoop 大数据生态的一部分,Hbase 以高可用性、可伸缩性和水平可扩展性著称。它提供了一个列族模型(Column Family Model),能

    2024年02月05日
    浏览(35)
  • HBase完全分布式配置(下)hbase篇 保姆级教程(近乎零基础跟着配也能配对)

    配置前也是要确保前面都配置正确,把多余的jdk都删掉(不会删看笔者第一篇文章) 上传不再赘述 解压: 改名: 环境变量: 应用: 要修改jdk和设置zookeeper外部使用 由于hbase对hdfs有依赖关系,则需要将hadoop下的core-site.xml和hdfs-site.xml复制到hbase中的conf目录下 zookeeper-hadoop-

    2024年04月17日
    浏览(25)
  • 大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署

    目录 实验环境: 实验步骤: 〇、Zookeeper安装配置: 一、安装前注意事项 二、HBase安装  三、Hbase集群配置 1.配置hbase-env.sh文件,位于Hbase安装目录/conf/ 2.配置hbase-site.xml文件,位于Hbase安装目录/conf/ 3.配置regionservers 4.新建 backup-masters文件,添加备份HMaster机器名 四、将配置好

    2024年02月08日
    浏览(30)
  • VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装

    Hello,world!    🐒本篇博客使用到的工具有:VMware16 ,Xftp7 若不熟悉操作命令,推荐使用带GUI页面的CentOS7虚拟机 我将使用带GUI页面的虚拟机演示 虚拟机(Virtual Machine) 指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算

    2024年02月07日
    浏览(31)
  • 分布式数据库系统:如何利用HBase构建微博搜索引擎?

    作者:禅与计算机程序设计艺术 随着互联网的蓬勃发展,用户数量和社交活动呈爆炸式增长。因此,基于互联网的新型应用正在崭露头角,例如新浪微博、微信朋友圈、QQ空间、知乎、搜狐新闻等。这些网站拥有庞大的用户群体,每天产生海量的数据,极大的 challenges 要如何

    2024年02月04日
    浏览(36)
  • HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

    今天在使用HBase Java API编程实践时发现出现报错,同样在创建表和查看HBase集群状态信息时也出现报错,以下是错误截图: 这是由于HBase的主节点正在初始化过程中,无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来

    2024年02月05日
    浏览(30)
  • HBase完全分布式配置(上)hadoop篇 保姆级教程(近乎零基础跟着配也能配对)

    本文从安装好新虚拟机开始介绍 改成 基础配置详细(带截图)可以看我的Hadoop和hbase伪分布式模式配置一文。这里不再详细展开,接下来转到tabby连接上并上传jdk、hadoop和hbase,同样不再赘述。解压、改名,详见上一篇文章,这里只截取环境变量配置好的图片。 解压jdk: 改名

    2024年04月15日
    浏览(46)
  • (小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建

    目录 0.准备 1.Hadoop伪分布式环境搭建 2.安装ssh,配置ssh无密码登录 3.通过拖拽的方式将文件从windows传到linux桌面 5.安装hadoop 6.修改hadoop环境变量 7.修改配置文件 core-site.xml 8.修改配置文件hdfs-site.xml文件 9.执行NameNode的格式化 10.开启NameNode和DataNode守护进程 11.访问web页面 12.关闭

    2024年02月03日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包