Ubuntu实现Hive与HBase的安装与配置(单机)

这篇具有很好参考价值的文章主要介绍了Ubuntu实现Hive与HBase的安装与配置(单机)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

(一)Hive的安装与配置

 Hive下载链接:

https://mirrors.bfsu.edu.cn/apache/hive/

(1)将下载好的Hive文件(版本:3.1.2)解压到/usr/local目录下

sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(2)切换至目录 /usr/local,将文件夹名改为hive,并且修改文件权限给本账户

cd /usr/local/

sudo mv apache-hive-1.2.1-bin hive

sudo chown -R yy:yy hive #自己的用户名

配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HIVE_HOME=/usr/local/hive #自己的hive安装路径

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_HOME=/usr/local/hadoop #自己的hadoop安装路径

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

保存退出后,使用以下命令使配置生效:

source ~/.bashrc

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(3)修改/usr/local/hive/conf下的配置文件:

首先将hive-default.xml.template重命名为hive-default.xml,命令:

cd /usr/local/hive/conf

mv hive-default.xml.template hive-default.xml

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

使用vim编辑器新建一个配置文件hive-site.xml,命令如下:

vim hive-site.xml

在hive-site.xml中添加如下配置信息:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

    <description>JDBC connect string for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

    <description>username to use against metastore database</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hive</value>

    <description>password to use against metastore database</description>

  </property>

</configuration>

(4)进入/usr/local/hive/bin路径下,输入命令./hive,(注:一定要先启动hadoop,在hadoop路径下启动命令:sbin/start-dfs.sh)启动成功。

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(二)HBase的安装与配置

(1)下载HBase

HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容

参考官网的配置信息:
https://hbase.apache.org/book.html#hadoop

查看我的hadoop版本:

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

查阅官方文档,HBase-2.3.x可以与Hadoop3.3.1兼容

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

Hbase下载链接:
https://archive.apache.org/dist/hbase/

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

将压缩包解压并重命名:

sudo tar -zxvf ./hbase-2.3.1-bin.tar.gz -C /usr/local

cd /usr/local/

sudo mv hbase-2.3.1 hbase

sudo chown -R yy:yy hbase 

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(2)由于HBase依赖JAVA_HOME环境变量,所以要导入Java环境变量,编辑conf/hbase-env.sh文件,并取消注释以#export JAVA_HOME =开头的行,然后将其设置为Java安装路径

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(3)配置环境,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HBASE_HOME=/usr/local/hbase #安装目录

export PATH=$HBASE_HOME/bin:$PATH

(4)通过指令查看hbase是否安装成功同时也是查看HBase版本代码。出现一下信息即为成功。

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(5)编辑hbase-env.sh文件,配置JAVA环境变量

vim /usr/local/hbase/conf/hbase-env.sh

在hbase-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #自己的jdk安装目录

export HBASE_MANAGES_ZK=true

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(6)编辑hbase-site.xml

vim /usr/local/hbase/conf/hbase-site.xml

将以下代码添加到<configuration>。

<property>

       <name>hbase.rootdir</name>

       <value>file:///usr/local/hbase/hbase-tmp</value>

</property>

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

(7)测试是否配置成功

cd /usr/local/hbase

bin/start-hbase.sh

bin/hbase shell

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

注:

如果启动hbase时报以下错误

启动hbase时报错: 2024-03-26 16:02:40,278 ERROR [main] conf.Configuration: error parsing conf hbase-site.xml com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs. at [row,col,system-id]: [2,5,"file:/usr/local/hbase/conf/hbase-site.xml"]

解决方法:把hbase-site.xml中的红框部分删掉即可

Ubuntu实现Hive与HBase的安装与配置(单机),ubuntu,hive,hbase

参考博客:Hive&HBase部署

HBase单机配置文章来源地址https://www.toymoban.com/news/detail-844726.html

到了这里,关于Ubuntu实现Hive与HBase的安装与配置(单机)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 虚拟机安装单机hive以及简单使用hive

    hive是我打算了解的有一个大数据方面的一个技术栈,上一篇文章介绍了Hadoop和hbase,有兴趣的朋友可以点击“文章”浏览,今天要介绍的hive也是要基于hadoop的,安装hive也要提前安装好hadoop。 刚了解这块的朋友肯定就会疑问这三者之间的关系是什么呢,从我这段时间对它们的

    2024年02月02日
    浏览(44)
  • Ubuntu系统中分布式安装配置HBase-2.3.7

     HBase是一个基于Hadoop的分布式列式数据库,可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群,并进行简单的数据操作。 在三个Ubuntu系统上分布式安装配置HBase-2.3.7,主要步骤包括: 准备工作:下载安装包,设置环境变量,解压安装包

    2024年02月06日
    浏览(40)
  • ubuntu-server部署hive-part3-安装mysql,最新大数据开发架构师成长路线

    不再报类似上方的错误,以mysql用户执行mysql命令,报错如下,说明可以继续安装。 初始化 以mysql用户执行如下命令: mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data --initialize 说明: –user:以操作系统mysql用户的身份初始化数据库,产生文件mysql是拥有者 –ba

    2024年04月15日
    浏览(51)
  • Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列

    目录 Linux安装配置Zookeeper Linux安装配置Hadoop Linux安装Hbase 新建文件夹 下载到指定文件夹 官网 Apache ZooKeeper 解压到指定文件 查看 进入目录 创建日志/数据文件夹 复制配置文件 使用vim进入zoo.cfg 修改为如下:  记录一下zookeeper的路径然后 刷新资源 运行 查看状态 创建文件夹加

    2024年02月14日
    浏览(46)
  • hive-3.1.3 部署 ubuntu20

    安装hadoop ~/.bashrc 添加 先清空 derby docker安装mysql 配置 hive-site.xml

    2024年02月14日
    浏览(29)
  • Hive的安装与使用(内嵌模式derby+将Hive的元数据配置到MySQL)配置hive的远程访问,实现多客户端访问安全机制

    前期准备:因为hive是构建在hadoop集群之上的,所以要先进行hadoop集群的搭建 一、内嵌模式:使用hive内置的关系型数据库(derby)来存储元数据 1.下载并上传到虚拟机上,我是在/opt目录下 2.解压并且重命名 3.配置hive环境,个人习惯把配置文件放在my_enc.sh中 4. 初始化元数据库

    2024年02月06日
    浏览(43)
  • Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目录 前言: 一、VMware Workstation 二、Ubuntu系统安装 新建虚拟机 三、Ubuntu系统的配置 四、更新apt 五、安装SSH、配置SSH无密码登陆  六、安装Java环境 七、安装 Hadoop3.1.3 八、Hadoop单机配置(非分布式) 九、Hadoop伪分布式配置 前言:         本篇教程由作者本人进行修改,原教

    2024年02月03日
    浏览(41)
  • CDH大数据平台 24Cloudera Manager Console之hbase、hive整合配置(markdown新版)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月01日
    浏览(44)
  • 大数据平台安装实验: ZooKeeper、Kafka、Hadoop、Hbase、Hive、Scala、Spark、Storm

    ​ 在大数据时代,存在很多开源的分布式数据采集、计算、存储技术,本实验将在熟练掌握几种常见Linux命令的基础上搭建几种常用的大数据采集、处理分析技术环境。 相关安装包下载: 链接:https://pan.baidu.com/s/1Wa2U3qstc54IAUCypcApSQ 提取码:lcd8 Hadoop大数据平台所需工具、软件

    2023年04月09日
    浏览(88)
  • Ubuntu安装Hbase

    1、查看jdk版本并安装 apt-cache search jdk apt-get install openjdk-8-jdk 这里选择自己需要的JDK安装即可 查看jdk路径 2、下面就是配置环境变量了 首先打开profile文件 sudo vim /etc/profile 2.配置jdk环境变量: 重新加载一下配置文件 查看jdk版本并查看环境变量配置情况 下载完后将文件上传到

    2023年04月08日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包