大数据学习:Hive安装部署

这篇具有很好参考价值的文章主要介绍了大数据学习:Hive安装部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive的安装部署

注意hive就是一个构建数据仓库的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装。

此处以安装到node03为例;请大家保持统一

使用hadoop普通用户操作

1.1 先决条件

  • 搭建好三节点Hadoop集群;
  • node03上先安装好MySQL服务;

1.2 准备安装包

  • 下载hive的安装包

    • http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz
  • 规划安装目录

    • /opt/install
  • 上传安装包到node03服务器中的/opt/soft路径下

1.3 解压

  • 解压安装包到指定的规划目录/opt/install
  [hadoop@node03 ~]$ cd /opt/soft/
  [hadoop@node03 soft]$ tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/install/

1.4 修改配置文件

  • 修改配置文件hive-env.sh

    • 进入到Hive的安装目录下的conf文件夹中
    [hadoop@node03 soft]$ cd /opt/install/hive-1.1.0-cdh5.14.2/conf/
    
    • 重命名hive-env.sh.template
    [hadoop@node03 conf]$ mv hive-env.sh.template hive-env.sh
    
    • 修改hive-env.sh
    [hadoop@node03 conf]$ vim hive-env.sh 
    
    • 如下,修改此文件中HADOOP_HOME、HIVE_CONF_DIR的值(根据自己机器的实际情况配置)
    #配置HADOOP_HOME路径
    export HADOOP_HOME=/opt/install/hadoop-2.6.0-cdh5.14.2/
    
    #配置HIVE_CONF_DIR路径
    export HIVE_CONF_DIR=/opt/install/hive-1.1.0-cdh5.14.2/conf
    

    注意:HADOOP_HOME前要手动加上export关键字

  • 修改配置文件hive-site.xml

    • conf目录下默认没有此文件,vim创建即可
    [hadoop@node03 conf]$ vim hive-site.xml
    
    • 文件内容如下
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
            <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
            </property>
    
            <property>
                    <name>javax.jdo.option.ConnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>root</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>123456</value>
            </property>
            <property>
                    <name>hive.cli.print.current.db</name>
                    <value>true</value>
            </property>
            <property>
                    <name>hive.cli.print.header</name>
                <value>true</value>
            </property>
        	<property>
                    <name>hive.server2.thrift.bind.host</name>
                    <value>node03</value>
            </property>
    </configuration>
    
    • 修改日志配置文件hive-log4j.properties

      • 创建hive日志存储目录
      [hadoop@node03 conf]$ mkdir -p /opt/install/hive-1.1.0-cdh5.14.2/logs/
      
      • 重命名生成文件hive-log4j.properties
      [hadoop@node03 conf]$ pwd
      /opt/install/hive-1.1.0-cdh5.14.2/conf
      [hadoop@node03 conf]$ mv hive-log4j.properties.template hive-log4j.properties
      [hadoop@node03 conf]$ vim hive-log4j.properties # 修改文件
      
      • 修改此文件的hive.log.dir属性的值
    #更改以下内容,设置我们的hive的日志文件存放的路径,便于排查问题
    hive.log.dir=/opt/install/hive-1.1.0-cdh5.14.2/logs/

1.5 拷贝mysql驱动包

  • 上传mysql驱动包,如mysql-connector-java-5.1.38.jar/opt/soft目录中

  • 由于运行hive时,需要向mysql数据库中读写元数据,所以需要将mysql的驱动包上传到hive的lib目录下

[hadoop@node03 ~]$ cd /opt/soft/
[hadoop@node03 soft]$ cp mysql-connector-java-5.1.38.jar /opt/install/hive-1.1.0-cdh5.14.2/lib/

1.6 配置Hive环境变量

  • 切换到root用户下
[hadoop@node03 soft]$ su root
Password:
  • 打开/etc/profile文件
[root@node03 soft]# vim /etc/profile
  • 末尾添加如下内容
export HIVE_HOME=/opt/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin
  • 切换回hadoop用户,并source
[root@node03 soft]# su hadoop
[hadoop@node03 soft]$ source /etc/profile
1.7 验证安装
  • hadoop集群已启动
  • mysql服务已启动
  • 在node03上任意目录启动hive cli命令行客户端
[hadoop@node03 ~]$ hive
  • 查看有哪些数据库
show databases;

大数据学习:Hive安装部署,大数据,大数据,学习,hive文章来源地址https://www.toymoban.com/news/detail-686218.html

  • 说明hive安装成功
  • 退出cli
quit;

到了这里,关于大数据学习:Hive安装部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hive安装部署

    1、Hive安装地址 ①Hive官网地址 Apache Hive ②文档查看地址 GettingStarted - Apache Hive - Apache Software Foundation ③下载地址 Index of /dist/hive ④github地址 GitHub - apache/hive: Apache Hive 2、 安装Hive 1)把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下 2)解压apache-hive-3.1.3-bin.tar.gz到/opt/mod

    2024年02月06日
    浏览(39)
  • Apache Hive安装部署

    描述数据的数据,主要描述数据属性信息,用来支持如指示存储位置,历史数据,资源查找,文件记录等功能。 存储在关系型数据库中。如hive内置Derby,或第三方MySql Metastore元数据服务。作用管理元数据,对外暴露服务。 metastore服务配置三种模式: 内嵌模式 本地模式 远程

    2024年02月09日
    浏览(38)
  • hive安装和部署

    1.Hive官网地址 Apache Hive 2.文档查看地址 GettingStarted - Apache Hive - Apache Software Foundation 3.下载地址 Index of /dist/hive 4.github地址 GitHub - apache/hive: Apache Hive   1.服务器的基础环境 集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装   2.Hadoop集群健康可用   启动Hive之前

    2024年02月05日
    浏览(54)
  • 【大数据之Hive】六、Hive之metastore服务部署

      metastore为Hive CLI或Hiveserver2提供元数据访问接口。   metastore运行模式有两种,嵌入式模式和独立服务模式。 (1)嵌入式模式   将metastore看作一个依赖嵌入到Hiveserver2和每一个HiveCLI客户端进程,使得Hiveserver2和HiveCLI客户端直接连接访问数据库。 (2)独立服务模式  

    2024年02月03日
    浏览(42)
  • 【Hive 01】简介、安装部署、高级函数使用

    Hive是建立在 Hadoop上的数据仓库基础构架,它提供了一系列的工具,可以进行数据提取、转化、加载( ETL ) Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户直接查询Hadoop中的数据 Hive包含SQL解析引擎,它会将SQL语句转译成MR Job,然后在Hadoop中执行 Hive的数据存储

    2024年02月16日
    浏览(33)
  • Hive3.1.3安装及部署

    目录 1 下载地址 2 安装部署 2.1 安装Hive 2.2 启动并使用Hive 2.3 MySQL安装 2.3.1 安装MySQL 2.3.2 配置MySQL 2.3.3 卸载MySQL说明 2.4 配置Hive元数据存储到MySQL 2.4.1 配置元数据到MySQL 2.4.2 验证元数据是否配置成功 2.4.3 查看MySQL中的元数据 2.5 Hive服务部署 2.5.1 hiveserver2服务  2.5.2 metastore服务

    2024年02月09日
    浏览(38)
  • (十五)大数据实战——hive的安装部署

    Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。 上传hive安装包到hadoop101服务器/opt/software目录 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下 - 命令:

    2024年02月13日
    浏览(35)
  • (最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

    网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。 由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。 机器信息 Hostname k8s-master k8s-node1 k8

    2024年02月06日
    浏览(50)
  • Hive学习——单机版Hive的安装

    目录 一、基本概念 (一)Hive概念 (二)优势和特点 (三)Hive元数据管理 (四)Hive架构 (五)Hive Interface – 其他使用环境 二、Hive环境搭建 1.自动安装脚本 2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml 3.拷贝一个jar包到hive下面的lib目录下 4.删除hive的guava,拷贝hadoop下的guava 5.重启

    2023年04月17日
    浏览(47)
  • Hive 3.x的安装部署 - Ubuntu

    写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二

    2024年02月03日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包