【大数据工具】Hive 安装

这篇具有很好参考价值的文章主要介绍了【大数据工具】Hive 安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive 环境搭建与基本使用

Hive 安装包下载地址:https://dlcdn.apache.org/hive/

注:安装 Hive 前要先安装好 MySQL

1. MySQL 安装

MySQL 安装包下载地址:https://dev.mysql.com/downloads/mysql/archives/community/MySQL%20::%20Download%20MySQL%20Community%20Serverhttps://dev.mysql.com/downloads/mysql/archives/community/

说明:三台节点都安装

  • 检查 MySQL 和 mariadb 是否已安装过,有就删除,没有则忽略
rpm -qa|grep mysql
rpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
  • 删除 MySQL 分散的文件夹
whereis mysql
rm -rf /usr/lib64/mysql
find / -name mysql
rm -rf 
  • 准备安装包 MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar, 上传,解压,命令:
tar -xvf MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
  • 安装服务端:
rpm -ivh MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm
  • 安装客户端:
rpm -ivh MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpm
  • 启动MySQL:
service mysql start
  • 获取初始密码:
cat /root/.mysql_secret
  • 登录MySQL:
mysql -uroot -pxxx
  • 修改密码:
mysql> set PASSWORD=PASSWORD('111111');
  • 退出重新登录,验证新密码是否设置成功:
mysql> exit
mysql -uroot -p111111
  • 增加远程登录权限:
mysql> grant all privileges on *.* to 'root'@'%' identified by '111111' with grant option;
mysql> flush privileges;

至此 MySQL 安装成功

2. Hive 安装

说明:安装到一个节点即可

1. Hive1 安装
  • 安装 MySQL

  • 上传软件包 apache-hive-1.2.1-bin.tar.gz

  • 解压安装包并更名:

tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive
  • 修改配置文件,目录下面没有,直接vim就可以:
[root@hadoop0 ~]# cd /software/hive/conf/
[root@hadoop0 conf]# vim hive-site.xml
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>111111</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

一定要记得加入 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar 该 jar 包放置在 hive 的根路径下的 lib 目录

安装完成,配置环境变量

vi /etc/profile
export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin
  • 验证 Hive 安装
[root@hadoop0 lib]# hive --help
  • 初始化元数据库
schematool -dbType mysql -initSchema
  • 启动 Hive 客户端(直接使用 hive 启动也行)
[root@hadoop0 bin]# hive --service cli>
  • 退出
quit; 或 exit;
2. Hive2 安装

上传安装包 apache-hive-2.3.8-bin.tar.gz

解压安装包

tar -zxvf apache-hive-2.3.8-bin.tar.gz
mv apache-hive-2.3.8-bin hive2

修改配置文件(目录下面没有,直接vim就可以了)

cd hive2/conf
vi hive-site.xml # 将下面内容写入hive-site.xml文件中
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>111111</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

说明:

  • 配置连接器信息,设置 MySQL 作为元数据存储的位置

    • localhost 表示:MySQL 和 Hive 客户端装在 Hadoop0 上
    • 若 MySQL 和 Hive 不装在一起,则 “localhost” 改为安装 MySQL 的机器 ip
  • hivedb2 表示:是之后初始化后,在MySQL里生成的元数据库的名字

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
  • 配置用户名和密码
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>111111</value>
</property>
  • 配置存到 HDFS 上默认路径的信息
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>

将 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar 放到 hive 的根路径下的 lib 目录

修改环境变量

vi /etc/profile
export HIVE_HOME=/software/hive2
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile

验证Hive安装:

hive --help

初始化元数据(当 Hive 依赖普通分布式 Hadoop 集群,不做初始化也是 OK 的,当 Hive 第一次启动的时候会自动进行初始化):

schematool -dbType mysql -initSchema

3. 启动 Hive 的两个前提

1. MySQL 元数据库已开启

[root@hadoop0 ~]# service mysql status
 SUCCESS! MySQL running (2022)

2. Hadoop 已启动

[root@hadoop0 ~]# jps
23106 Jps
2787 NameNode
3115 ResourceManager
7119 RunJar

启动 Hive 客户端:hive

退出 Hive 客户端:quit; exit;

4. Hive 重装

Hive 重装需要注意

  • 保证之前 Hive 数据仓库的默认的 hdfs 目录不存在(删掉或创建新的)
  • 保证元数据库不存在,或换一个名字

基于同一个 Hadoop 集群搭建多个不同的 Hive 数据仓库文章来源地址https://www.toymoban.com/news/detail-474249.html

  • 保证默认的仓库路径不一致
  • 保证元数据库的路径不一致

到了这里,关于【大数据工具】Hive 安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • PX4开发环境搭建--源码下载+基本工具链

    由于各种原因,国内网络搭建PX4开发环境会比较困难。(而且最近gitee也挂了。) 其实安装过程自己最近几年尝试过很多次,都因为网络问题半途而废了。由于被封闭太久,脑子不太正常,突然又想尝试一下在自己电脑上搭建PX4环境。 本文主要是给自己做个记录。配置过程中

    2023年04月16日
    浏览(54)
  • 大数据平台环境搭建---- Hive&MySql数据库组件配置

    前置环境 Hadoop集群必须部署完成,如果还没有搭建请先前往Hadoop全分布搭建笔记 程序版本 hive 1.1.0 mysql 5.7.25 mysql-connector-java-5.1.39-bin.jar 资源下载 官网下载: mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar :https://downloads.mysql.com/archives/community/  链接:https://pan.xunlei.com/s/VNoQg4wdxda5by6L8Lvug9e

    2024年01月25日
    浏览(65)
  • 大数据环境搭建 Hadoop+Hive+Flume+Sqoop+Azkaban

    Hadoop:3.1.0 CentOS:7.6 JDK:1.8 这里网上教程很多,就不贴图了 【内存可以尽量大一些,不然Hive运行时内存不够】 创建tools目录,用于存放文件安装包 将Hadoop和JDK的安装包上传上去 创建server目录,存放解压后的文件 解压jdk 配置环境变量 配置免密登录 配置映射,配置ip地址和

    2024年02月09日
    浏览(43)
  • 测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)

    https://blog.csdn.net/weixin_43446246/article/details/123327143 java_home填写自己安装的路径。 vim core-site.xml 将以下信息填写到configuration中 vim hdfs-site.xml vim mapred-site.xml vim yarn-site.xml vim workers 启动zk 三台机器全部执行 在node01执行 格式化NameNode 。 在node01执行 启动hdfs 在node01执行 启动yarn jps

    2024年02月20日
    浏览(116)
  • 【大数据工具】Hive 安装

    Hive 安装包下载地址:https://dlcdn.apache.org/hive/ 注:安装 Hive 前要先安装好 MySQL 1. MySQL 安装 MySQL 安装包下载地址:https://dev.mysql.com/downloads/mysql/archives/community/MySQL%20::%20Download%20MySQL%20Community%20Serverhttps://dev.mysql.com/downloads/mysql/archives/community/ 说明:三台节点都安装 检查 MySQL 和

    2024年02月08日
    浏览(32)
  • 大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

    1.1.1 Hive产生背景 HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑,开发人员要编写MR对数据进行统计分析难度极大,所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化

    2024年01月17日
    浏览(46)
  • 大数据平台搭建之hive本地模式安装

            Hive 是一个开源的数据仓库基础设施,用于查询和分析大规模数据集。它建立在 Hadoop 上,并提供了类似于传统数据库的查询和分析功能。         Hive 使用 HiveQL(类似于 SQL)作为查询语言,允许用户通过类 SQL 的语法编写查询语句,这些查询语句会被转换为

    2024年02月07日
    浏览(43)
  • Pytorch深度强化学习:Gym安装与环境搭建教程(附基本指令表)

    本专栏重点介绍强化学习技术的数学原理,并且 采用Pytorch框架对常见的强化学习算法、案例进行实现 ,帮助读者理解并快速上手开发。同时,辅以各种机器学习、数据处理技术,扩充人工智能的底层知识。 🚀详情:《Pytorch深度强化学习》 强化学习是在潜在的不确定复杂环

    2024年02月05日
    浏览(95)
  • Linux下服务器基本环境搭建步骤详解(三种软件安装方式)

    小伙伴们注意看:下面使用三种方式分别安装JDK、Tomcat、Docker进行演示 操作系统基于CentOs7. Linux服务器的学习小结,希望能给到小伙伴们一点帮助。同时也方便我自己回顾。觉得可以记得好评点赞,阿里嘎多! 1、rpm下载地址 方式一 :rpm 下载地址 方式二 :https://www.aliyundr

    2024年02月11日
    浏览(49)
  • Python搭建编程环境-安装Pycharm开发工具

    ✅作者简介:CSDN内容合伙人、阿里云专家博主、51CTO专家博主、新星计划第三季python赛道Top1🏆 📃个人主页:hacker707的csdn博客 🔥欢迎大家订阅系列专栏:零基础入门篇🥇 💬个人格言:不断的翻越一座又一座的高山,那样的人生才是我想要的。这一马平川,一眼见底的活,

    2024年02月22日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包