HBase在大数据集群的安装部署及整合Phoenix

这篇具有很好参考价值的文章主要介绍了HBase在大数据集群的安装部署及整合Phoenix。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HBase

前提:需要保证三台虚拟机hadoop102-104已经部署好基本配置。未完成的可以参考:https://blog.csdn.net/weixin_73195042/article/details/135886619

安装

上传HBase安装包到/opt/software文件夹内

tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module/
mv /opt/module/hbase-2.4.11 /opt/module/hbase

配置环境变量

sudo vim /etc/profile.d/my_env.sh

在末尾添加

#HBASE_HOME

export HBASE_HOME=/opt/module/hbase

export PATH=$PATH:$HBASE_HOME/bin

使用 source 让配置的环境变量生效

source /etc/profile.d/my_env.sh

将环境变量分发到其他虚拟机上,并且也要source环境变量.

hbase-env.sh 修改内容,可以添加到最后:

export HBASE_MANAGES_ZK=false

hbase-site.xml 修改内容:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <property>

 <name>hbase.zookeeper.quorum</name>

 <value>hadoop102,hadoop103,hadoop104</value>

 <description>The directory shared by RegionServers.

 </description>

 </property>

<!-- <property>-->

<!-- <name>hbase.zookeeper.property.dataDir</name>-->

<!-- <value>/export/zookeeper</value>-->

<!-- <description> 记得修改 ZK 的配置文件 -->

<!-- ZK 的信息不能保存到临时文件夹-->

<!-- </description>-->

<!-- </property>-->

 <property>

 <name>hbase.rootdir</name>

 <value>hdfs://hadoop102:8020/hbase</value>

 <description>The directory shared by RegionServers.

 </description>

 </property>

 <property>

 <name>hbase.cluster.distributed</name>

 <value>true</value>

 </property>

</configuration>

修改regionservers文件

hadoop102

hadoop103

hadoop104

解决 HBase 和 Hadoop 的 log4j 兼容性问题(原因是hadoop和hbase都引入了log4j的依赖,加载时候会出现重复加载依赖的冲突),修改 HBase 的 jar 包,使用 Hadoop 的 jar 包

mv /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

将HBase文件夹远程发送到其他集群

 xsync hbase/

启动

1)单点启动

bin/hbase-daemon.sh start master

bin/hbase-daemon.sh start regionserver

2)群启

bin/start-hbase.sh

3)对应的停止服务

bin/stop-hbase.sh

查看 HBase 页面

启动成功后,可以通过host:port的方式来访问 HBase 管理页面,位置:http://hadoop102:16010

hbase:005:0> create ‘bigdata:student’, {NAME => ‘info’, VERSIONS => 5}, {NAME => ‘msg’}

整合 Phoenix

(1)上传并解压jar包

tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module/

mv phoenix-hbase-2.4-5.1.2-bin/ phoenix

(2)复制 server 包并拷贝到各个节点的 hbase/lib

cd /opt/module/phoenix/

cp phoenix-server-hbase-2.4-5.1.2.jar /opt/module/hbase/lib/

xsync /opt/module/hbase/lib/phoenix-server-hbase-2.4-5.1.2.jar

(3)配置环境变量

#phoenix

export PHOENIX_HOME=/opt/module/phoenix

export PHOENIX_CLASSPATH=$PHOENIX_HOME

export PATH=$PATH:$PHOENIX_HOME/bin

配置完别忘source一下

(4)重启 HBase

stop-hbase.sh
start-hbase.sh

(5)连接 Phoenix

/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181

(6)错误解决

出现下面错误的原因是之前使用过 phoenix,建议删除之前的记录

警告: Failed to load history

java.lang.IllegalArgumentException: Bad history file syntax! The

history file /home/atguigu/.sqlline/history may be an older

history: please remove it or use a different history file.

解决方法:在/home/atguigu 目录下删除.sqlline 文件夹文章来源地址https://www.toymoban.com/news/detail-860013.html

rm -rf .sqlline/

到了这里,关于HBase在大数据集群的安装部署及整合Phoenix的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 开源大数据集群部署(十四)Ranger集成Hbase

    作者:櫰木 在hd1.dtstack.com主机上执行 在hmaster和back master上进行安装和执行 解压ranger-2.3.0-hbase-plugin 配置ranger hbase插件的install.properties 初始化ranger hbase 重启hbase服务 Ranger admin页面配置hbase 访问地址:http://hd1.dtstack.com:6080/ 用户密码:admin/rangerAdmin123 测试连通性,连接成功后保

    2024年03月21日
    浏览(46)
  • 大数据NoSQL数据库HBase集群部署——详细讲解~

    HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 和Redis一样,HBase是一款KeyValue型存储的数据库。 不过和Redis设计方向不同 Redis设计为少量数据,超快检索 HBase设计为海量数据,快速检索 HBase在大数据领域应用十分广泛,现在我们来在node1、node2、node3上部署H

    2024年02月11日
    浏览(48)
  • 【Hadoop】创建Hadoop集群(3个节点)—— 安装部署一个3个节点构成的hbase集群

    前言 此实验搭建3个虚拟节点,一个mater,一个slave1,一个slave2 集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但在物理上常在一起。 HDFS集群负责海量数据的存储,集群中的角色主要有: NameNode、DataNode、SecondaryNode YARN集群负责海量数据运算

    2024年02月08日
    浏览(52)
  • 《Hadoop核心技术》Hbase集群部署,创建表,删除表,插入数据,查询数据

    额前言:         我是一名正在学习《Hadoop核心技术》的学生,今天跟大家分享一下在虚拟机上在Hadoop集群中用Hbase进行简单的增删查 可以进行随机访问的存取和检索数据的存储平台         HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库(也即非关系型数据库

    2024年02月03日
    浏览(52)
  • 数据沙箱在大数据生产、测试物理集群隔离场景中最佳实践

            大数据平台不仅需要稳定地运行生产任务,还需要提供数据开发的能力。因此,不少大数据平台都会为每个任务区分开发模式与线上模式,可以通过提交上线的方式,将开发模式任务提交到线上,让其用于线上数据生产工作。         开发模式与线上模式其实

    2024年02月04日
    浏览(66)
  • HBase集群部署

    相关版本:Hadoop:2.7.3 hbase:1.3.1 hbase相关版本下载 安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包,下载并解压到/opt目录下 2.1 修改Master节点和Slave节点的/etc/hosts文件 添加以下内容: 2. 2修改Master节点和Slave节点的/root/.bash_profile文件 添加内容如下 如图所示: 3修改配置文件hbase-en

    2024年02月19日
    浏览(40)
  • HBase学习三:集群部署

    集群启停顺序:启动Hadoop—启动HBase—关闭HBase—关闭Hadoop 参考基础环境配置 hostname ip vm1 ip1 vm2 ip2 vm3 ip3 hdfs的集群搭建可以参考 hdfs集群搭建 hdfs集群机器分配 NameNode DataNode JournalNode Zookeeper vm1 ✔ ✔ ✔ ✔ vm2 ✔ ✔ ✔ ✔ vm3 × ✔ ✔ ✔

    2024年01月18日
    浏览(39)
  • 【李老师云计算】HBase+Zookeeper部署及Maven访问(HBase集群实验)

    本篇博客内容大部分参考了涛哥的博客,在此基础上进行了整合、补充以及融合了我自己的操作,向学长表示敬意! 本次操作,为什么说是操作不是实验呢,因为这个不算课内的作业,而是必须要完成的额外任务,是在完成了【李老师云计算】实验一:Hadoop伪分布式集群部署

    2023年04月20日
    浏览(41)
  • docker-compose部署hbase集群 —— 筑梦之路

    HBase  是一个开源的  NoSQL   列式分布式数据库 ,它主要基于  Hadoop  分布式文件系统(HDFS)运行。 HBase  最初是由  Facebook  公司贡献,其基于  Google 的  Bigtable  模型开发,在强大的水平扩展性和高可用性的基础上,提供了可以扩展垂直规模的存储。 HBase  主要特点如下

    2024年02月10日
    浏览(50)
  • 【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

    Grafana 是一款开源的数据可视化工具,使用 Grafana 可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。 解压 配置 mapping 文件 修改spark的metrics.properties配置文件,让其推送metrics到Graphite_exporter namenode.yaml datanode.yaml 配置 hadoop-env.sh yarn.yaml 配置 ya

    2023年04月21日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包