(十六)大数据实战——安装使用mysql版的hive服务

这篇具有很好参考价值的文章主要介绍了(十六)大数据实战——安装使用mysql版的hive服务。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

hive默认使用的是内嵌据库derby,Derby 是一个嵌入式数据库,可以轻松地以库的形式集成到应用程序中。它不需要独立的服务器进程,所有的数据存储在应用程序所在的文件系统中。为了支持hive服务更方便的使用,我们使用mysql数据库的方式,使得服务部署更加灵活。数据库是分开部署的,使用十分灵活,性能也相对更高。

正文

  • 上传mysql安装包和驱动到服务器/opt/softeware目录

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 创建一个mysql5.7-inst目录,将mysql安装包解压到mysql目录 

- mkdir mysql5.7-inst

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql5.7-inst/

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  •  卸载系统自带的mariadb数据库,没有则跳过此步骤

命令:sudo rpm -qa | grep mariadb | xargs sudo rpm -e --nodeps

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 安装mysql 

- 安装mysql依赖

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 安装mysql客户端

sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 安装mysql服务

sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 启动mysql服务,查看mysql状态 ,验证mysql是否安装完成

- 启动mysql服务:sudo systemctl start mysqld

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- mysql设置为开机自启动:sudo systemctl enable mysqld

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 修改mysql密码 

- 查看mysql密码:sudo cat /var/log/mysqld.log | grep password

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 使用临时密码登录mysql:sudo mysql -uroot -p'TGZ.#v4fDqLJ'(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 更改mysql密码策略,并修改mysql密码

set global validate_password_policy=0;
set global validate_password_length=4;
set password=password("root");

 (十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 进入mysql数据库,将root访问权限改为%

use mysql;
#查看访问权限
select user, host from user;
#修改访问权限
update user set host="%" where user="root";
#刷新权限
flush privileges;

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  •  删除derby数据库默认的元数据库信息

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 连接mysql数据库,创建metastore数据库用于hive使用

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 将mysql的数据库驱动拷贝至hive安装目录下的lib目录

 - 命令:cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  • 使用vi编辑器,创建hive-site.xml文件用于mysql连接等相关hive的配置

- hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop101:3306/metastore?useSSL=false</value>
    </property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hadoop/hive/warehouse</value>
    </property>
</configuration>

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

  •  初始化hive元数据库

- 命令:bin/schematool -dbType mysql -initSchema -verbose

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

- 启动hive,验证是否安装成功

(十六)大数据实战——安装使用mysql版的hive服务,大数据,大数据,hive

结语

至此,关于使用mysql作为数据源存储的hive服务安装部署到这里就结束了,我们下期见。。。。。。。文章来源地址https://www.toymoban.com/news/detail-636898.html

到了这里,关于(十六)大数据实战——安装使用mysql版的hive服务的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (十五)大数据实战——hive的安装部署

    Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。 上传hive安装包到hadoop101服务器/opt/software目录 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下 - 命令:

    2024年02月13日
    浏览(36)
  • Windows的Mysql5.7社区版的安装详细操作,从无到有,安装配置一条龙服务。(压缩包自行安装,非installer安装)

    换了一个电脑,所有软件、环境都得重新来安装一次,安装到Mysql的时候,发现网上有两种安装方式,一种是Mysql的压缩包安装方式,这种方式直接到官网下载Mysql的压缩包,解压之后做些配置就可以了,另一种是Mysql的Installer一站式的安装,这种方法步骤相对来说少点,但是

    2024年02月03日
    浏览(45)
  • 【大数据实验系列】一文轻松搞定云服务器Centos8.x下安装MySQL5.x版本,以阿里云服务器为例!(超详细安装流程)

           本篇博客主要涉及云服务器(以阿里云服务器为例子)Centos8.x下安装MySQL软件。( 通读本篇博客需要10分钟左右的时间) 。         本篇博客内容参考于:centOS8安装MySql5.7 2.1 MySQL rpm源包下载        我们首先点击官网MySQL下载地址,如下图所示:        博主这里选择上

    2024年02月03日
    浏览(63)
  • 大数据项目实战(安装准备)

    (由于内容过多分为了4个博客,后面有链接分享,也可去我的主页查看) 1.1.1虚拟机安装与克隆 1.虚拟机的安装和设置以及启动虚拟机并安装操作系统 安装一台虚拟机主机名为:hadoop01的虚拟机备用(以下仅供参考) VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维

    2024年02月11日
    浏览(42)
  • 超详细的hive和mysql的安装与配置以及hive服务启动脚本

    目录 一、说明 二、Hive安装与配置 1.上传文件并解压 2.修改目录名称 3.配置hive环境变量 4.删除冲突jar包 5.启动hadoop集群 6.初始化元数据库并启动 三、MySQL安装与配置 1.检查和上传文件并解压 四、hive服务启动脚本 1.创建脚本 2.修改权限 3.脚本使用方法 本文使用的hive为:hive

    2024年02月02日
    浏览(42)
  • 大数据项目实战(Sqoop安装)

    1.sqoop安装 (1)上传安装包   (2)解压安装包 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers (3)重命名 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop  (4)复制cpsqoop-env-template.sh并修改名字为sqoop-env.sh cp sqoop-env-template.sh sqoop-env.sh (5 )修改sqoop-env.sh的配置  (6)修改系统环

    2024年02月11日
    浏览(46)
  • (十九)大数据实战——Flume数据采集框架安装部署

    本节内容我们主要介绍一下大数据数据采集框架flume的安装部署,Flume 是一款流行的开源分布式系统,用于高效地采集、汇总和传输大规模数据。它主要用于处理大量产生的日志数据和事件流。Flume 支持从各种数据源(如日志文件、消息队列、数据库等)实时采集数据,并将

    2024年02月10日
    浏览(45)
  • Ubuntu 20.04.6服务版的安装

    目录 一、Ubuntu安装包的下载 二、虚拟机的设置 第一步、创建虚拟机 第二步、选择虚拟机的硬件 第三步、操作系统安装来源选择 第四步、选择虚拟机所安装的系统 第五步、选择虚拟机存放的位置 第六步、对虚拟机的硬件设备进行配置 第七步、虚拟机网络的配置 第八步、更

    2024年02月07日
    浏览(31)
  • Hive基础知识(十六):Hive-SQL分区表使用与优化

    分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。 Hive 中的分区就是分目录 ,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的 查询效率会提高很多

    2024年01月18日
    浏览(40)
  • (二十四)大数据实战——Flume数据流监控之Ganglia的安装与部署

    本节内容我们主要介绍一下Flume数据流的监控工具Ganglia。Ganglia是一个开源的分布式系统性能监控工具。它被设计用于监视大规模的计算机群集(包括集群、网格和云环境),以便收集和展示系统和应用程序的性能数据。Ganglia 可以轻松地扩展到数千台计算机节点,并支持跨多

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包