【大数据之Hive】四、配置Hive元数据存储到MySQL

这篇具有很好参考价值的文章主要介绍了【大数据之Hive】四、配置Hive元数据存储到MySQL。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

需求:
  把Hive元数据写道MySQL的metastore数据库中(MySQL默认没有metastore数据库,需要提前创建:create database metastore;)
  连接地址:jdbc:mysql//hadoop102:3306/metastore
  驱动:com.mysql.cj.jdbc.Driver
  用户名:root
  密码:123456

1 配置元数据到MySQL

(1)新建元数据库:

#登录到MySQL
mysql -u root -p123456

#创建元数据库
mysql>create database metastore;
mysql>quit;

(2)把MySQL的JDBC驱动拷贝到Hive的lib目录下(此处用的是MySQL8.0.33的驱动):

cd /opt/software/mysql-connector-j-8.0.33.jar /opt/module/hive/lib

(3)在$HIVE_HOME/conf下创建hive-site.xml文件:

vim hive-site.xml

#添加以下内容:
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL-->
    <!--主机名:端口号/数据库名 -->
   <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
   
   <!-- jdbc连接的Driver-->
   <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.cj.jdbc.Driver</value>
   </property>
   
   <!--jdbc连接的username-->
   <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>root</value>
   </property>

   <!-- jdbc连接的password -->
   <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>123456</value>
   </property>

    <!-- Hive默认在HDFS的工作目录-->
   <property>
       <name>hive.metastore.warehouse.dir</name>
       <value>/user/hive/warehouse</value>
   </property>
</configuration>

(4)初始化hive元数据库,改为用MySQL存储:

bin/schematool -dbType mysql -initSchema -verbose

2 验证元数据是否配置成功

(1)启动hive:

bin/hive

(2)使用hive:

hive> show databases;
hive> show tables;
hive> create table stu(id int, namestring);
hive> insert into stuvalues(1,"liao");
hive> select * from stu;

hive元数据配置到mysql,hive,hive,mysql,大数据
hive元数据配置到mysql,hive,hive,mysql,大数据
(3)在另外一个窗口开启hive,可以看到两个窗口都可以操作hive,没有异常:

hive>show databases;
hive>show tables;
hive>select * from stu;

3 查看MySQL中的元数据

(1)登录MySQL:

mysql -u root -p123456

(2)查看元数据库metastore:

mysql> show databases;
mysql> use metastore;
mysql> show tables;

hive元数据配置到mysql,hive,hive,mysql,大数据
(i)查看元数据中存储的库信息,hive中默认有default数据库:

mysql>select * from DBS;

hive元数据配置到mysql,hive,hive,mysql,大数据
(ii)查看元数据中存储的表信息,TBLS中保存了在hive中创建所有表的信息,创建的表的根目录等信息保存在SDS表中:

mysql>select * from TBLS;

hive元数据配置到mysql,hive,hive,mysql,大数据
(iii)查看元数据中存储的列相关信息,保存创建表的字段的信息:

mysql>select * from COLUMNS_V2;

hive元数据配置到mysql,hive,hive,mysql,大数据文章来源地址https://www.toymoban.com/news/detail-702421.html

到了这里,关于【大数据之Hive】四、配置Hive元数据存储到MySQL的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(41)
  • Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式

    本篇主要讲解一下Hive的文件格式,官方文档见《 https://cwiki.apache.org/confluence/display/Hive/FileFormats》、《 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-StorageFormatsStorageFormatsRowFormat,StorageFormat,andSerDe》 HIve的文件存储格式常见的有四种:textfile 、sequencefile、or

    2024年01月22日
    浏览(33)
  • Hive底层数据存储格式

    在大数据领域,Hive是一种常用的数据仓库工具,用于管理和处理大规模数据集。Hive底层支持多种数据存储格式,这些格式对于数据存储、查询性能和压缩效率等方面有不同的优缺点。本文将介绍Hive底层的三种主要数据存储格式:文本文件格式、Parquet格式和ORC格式。 文本文

    2024年02月12日
    浏览(49)
  • 大数据开发之Hive(压缩和存储)

    Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormat API可以从不同数据源读取数据,使用OutputFormat API可以将数据写成不同的格式输出。 对数据进行压缩虽然会增加额外的CPU开销,但是会节约客观的磁盘空间,并且通过减少内存的数据量而提高I/O吞吐量会

    2024年01月17日
    浏览(34)
  • Hive、HBase对比【相同:HDFS作为底层存储】【区别:①Hive用于离线数据的批处理,Hbase用于实时数据的处理;②Hive是纯逻辑表,无物理存储功能,HBase是物理表,放非结构数据】

    1. Hive是hadoop数据仓库管理工具,严格来说,不是数据库,本身是不存储数据和处理数据的,其依赖于HDFS存储数据,依赖于MapReducer进行数据处理。 2. Hive的优点是学习成本低,可以通过类SQL语句(HSQL)快速实现简单的MR任务,不必开发专门的MR程序。 3. 由于Hive是依赖于MapRed

    2024年04月17日
    浏览(33)
  • 2、hive相关概念详解--架构、读写文件机制、数据存储

    1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、本地模式和远程模式)及验证详解 2、hive相关概念详解–架构、读写文件机制、数据存储 3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表 4、hive的使用示例详解-事务表、视图、物化视图、DDL

    2024年02月09日
    浏览(38)
  • 超详细的hive和mysql的安装与配置以及hive服务启动脚本

    目录 一、说明 二、Hive安装与配置 1.上传文件并解压 2.修改目录名称 3.配置hive环境变量 4.删除冲突jar包 5.启动hadoop集群 6.初始化元数据库并启动 三、MySQL安装与配置 1.检查和上传文件并解压 四、hive服务启动脚本 1.创建脚本 2.修改权限 3.脚本使用方法 本文使用的hive为:hive

    2024年02月02日
    浏览(33)
  • 访问 Hive 的元数据存储(MetaStore)的API方式

    访问 Hive 的元数据存储(MetaStore)的API方式 访问 Hive 的元数据存储(MetaStore)是通过 Hive 的 Thrift API 来实现的。Thrift 是一个跨语言的远程服务调用框架,它可以让不同编程语言之间进行跨语言的远程过程调用(RPC)。Hive 的元数据存储的 Thrift API 允许你通过编程语言(如 J

    2024年02月14日
    浏览(33)
  • 【Flutter】Flutter 数据存储 Hive 的简要使用说明

    🎉想要精通 Flutter,掌握更多技巧和最佳实践?好消息来了!👉

    2024年02月10日
    浏览(32)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包