大数据平台搭建之hive连接mysql

这篇具有很好参考价值的文章主要介绍了大数据平台搭建之hive连接mysql。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、mysql的基本介绍

MySQL是一种广泛使用的开源关系型数据库管理系统(RDBMS),由瑞典公司MySQL AB开发并维护,目前由Oracle公司负责开发和支持。MySQL是一种功能强大、性能优越的关系型数据库管理系统,适用于各种规模的应用程序和系统。

以下是MySQL的一些基本特点和功能:

  1. 关系型数据库:MySQL是一种关系型数据库,使用表格来存储数据,支持SQL语言进行数据操作。

  2. 可扩展性:MySQL支持水平扩展和垂直扩展,可以通过添加更多的服务器、增加硬件资源或者集群来提高性能和容量。

  3. 多线程和高性能:MySQL采用多线程架构,能够处理大量并发请求,并具有良好的性能表现。

  4. 支持多种操作系统:MySQL可运行于各种操作系统平台,包括Windows、Linux、macOS等。

  5. 安全性:MySQL提供了一系列安全功能,如权限控制、加密连接、防止SQL注入等,保护数据库不受非法访问和攻击。

  6. 数据复制和备份:MySQL支持主从复制和数据备份,可以实现数据的冗余和灾备,提高数据可用性和安全性。

  7. 存储引擎:MySQL支持多个存储引擎,包括InnoDB、MyISAM、Memory等,每个存储引擎具有不同的特性和适用场景。

  8. 开源和社区支持:MySQL是开源软件,拥有庞大的用户和开发者社区,提供丰富的文档、教程和支持资源。

2、为什么选择mysql连接hive

        选择 Hive 连接 MySQL 的主要原因是将 Hive 的强大数据分析能力与 MySQL 的关系型数据库集成,实现对大规模、关系型数据的全面处理和分析。通过连接,可以无缝集成和处理MySQL中的数据,并利用Hive提供的丰富功能进行复杂查询、聚合分析等操作。同时,Hive的扩展性和高可用性架构为处理大规模数据提供了保障,而兼容的SQL语言使得连接和查询MySQL数据更加直观和方便。总之,选择Hive连接MySQL可实现更全面、灵活和高效的数据处理和分析。

元数据是存储在mysql中,而不是derby中,支持多用户访问。

3、安装mysql8.26

mysql的安装有两种方式:使用yum源安装 ,第二种使用rpm安装包安装。

3.1、检查是否安装过同类的软件

rpm -qa | grep mariadb
rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps
rpm -qa | grep mysql

3.2、在opt下创建一个mysql的文件夹便于存放mysql的安装包

mkdir /opt/mysql

3.3、上传rpm安装包解压

tar -xvf /software/mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar -C /opt/mysql

3.4、安装

rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm
yum install -y net-tools
yum install -y perl
rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm

3.5、修改密码

启动mysql
systemctl start mysqld
查看mysql是否启动成功
systemctl status mysqld
查看mysql的原始密码
grep password /var/log/mysqld.log

hive链接mysql,hive,数据仓库,大数据,hive,mysql,数据仓库,linux

通过原始密码进入mysql  .
mysql -uroot -p
输入原始密码
修改密码(必须设置一个复杂的密码,得还有特殊符号):
alter user root@localhost identified by 'h1n2c3ctonG!';

查看密码策略:
show variables like '%validate_password%';
修改密码设置策略,便于我们设置一个比较好记的密码:
set global validate_password.policy=LOW;						# 修改密码策略等级为LOW
set global validate_password.length=4;							# 密码的最小长度
set global validate_password.mixed_case_count=0;	  # 设置密码中至少要包含0个大写字母和小写字母
set global validate_password.number_count=0;			 	# 设置密码中至少要包含0个数字
set global validate_password.special_char_count=0;	# 设置密码中至少要包含0个特殊字符

设置简易密码:
alter user root@localhost identified by '123456';

3.6、修改mysql的远程连接

create user 'root'@'%' identified by  '123456';
grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;

4、hive本地模式配置:

因为derby模式,只能够支持一个客户端访问hive,不实用,在开发过程中,一般我们使用mysql作为元数据的数据库,这种模式称之为本地模式。

4.1、修改hive-site.xml

<property>
  <name>javax.jdo.option.ConnectionURL</name>
584  <value>jdbc:mysql://192.168.89.144:3306/hive?createDatabaseIfNotExist=true</value>
  <description>
    JDBC connect string for a JDBC metastore.
    To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
    For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
  </description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
1102    <value>com.mysql.cj.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
 1127   <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
 569   <value>123456</value>
    <description>password to use against metastore database</description>
  </property>

4.2、拷贝一个java的驱动包给mysql, 放入hive的lib下

cd /opt/hive/lib/
通过finalshell 拖拽进去

4.3、删除之前的Derby数据库

rm -rf metastore_db derby.log

4.4、初始化hive

schematool -initSchema -dbType mysql

4.5、 测试

进入hive

show databases;
show tables; 
create table stu(id int,name string);
insert into stu values(1,"zhangsan");
select * from stu;
退出使用quit;

相关软件下载链接:链接:https://pan.baidu.com/s/15cKiwpjZ2oZQCPB6fgfL-Q?pwd=asdf 
提取码:asdf文章来源地址https://www.toymoban.com/news/detail-728056.html

到了这里,关于大数据平台搭建之hive连接mysql的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • C++ mySQL数据库连接池(windows平台)

    新手学了C++多线程,看了些资料练手写了C++数据库连接池小项目,自己的源码地址 MySQL数据库编程、单例模式、queue队列容器、C++11多线程编程、线程互斥、线程同步通信和 unique_lock、基于CAS的原子整形、智能指针shared_ptr、lambda表达式、生产者-消费者线程模型 为了提高MySQL数

    2024年03月09日
    浏览(56)
  • express搭建服务器并连接mysql数据库

    前言:express是一个轻量级的node.js web应用程序开发框架,为web和移动应用程序提供一组强大的功能,可以帮助我们快速搭建基于nodejs的web应用。通俗来说:express可以搭建服务器,接受前端发送过来的请求,并连接数据库,通过一系列操作做出响应发送到前端。 注意:搭建服

    2024年01月18日
    浏览(47)
  • Hive数据仓库---Hive的安装与配置

    Hive 官网地址:https://hive.apache.org/ 下载地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目 录下,执行以下命令把安装文件解压到/opt/app目录中 进入/opt/app目录,为目录apache-hive-3.1.2-bin建立软件链接 即输入hive就相当于输入a

    2024年02月02日
    浏览(43)
  • ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作

    这篇文章主要讲述的是ubuntu22.04上数据仓库Hive的安装和使用 建议按照文章实践前稍微通读下全文 相关命令: sudo apt-get install mysql-server sudo apt-get install mysql-client 在终端中输入 sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf 修改mysql的配置文件 [mysqld]之后,任意新建一行,添加文本 skip-gr

    2024年02月11日
    浏览(44)
  • ptrade 通过mysql的链接开发一个量化管理平台。

    这里只写一下界面及想法。不进行代码的实现。因为对流程不是很熟 ###界面 数据库的链接: ptrade

    2024年01月20日
    浏览(45)
  • Hive数据仓库简介

    Hive起源于Facebook,Facebook公司有着大量的日志数据,而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架,可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发,但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日

    2024年02月15日
    浏览(57)
  • hive数据仓库课后答案

    一、 填空题 1.数据仓库的目的是构建面向     分析         的集成化数据环境。 2.Hive是基于     Hadoop         的一个数据仓库工具。 3.数据仓库分为3层,即      源数据层        、     数据应用层        和数据仓库层。 4.数据仓库层可以细分为      明细层

    2023年04月08日
    浏览(47)
  • 数据仓库 & Apache Hive

    目录 一、数据分析 1、数据仓库 1.1、数仓专注分析 1.2、数仓主要特征 1.3、数据仓库主流开发语言--SQL 2、Apache Hive 2.1、为什么使用Hive? 2.2、Hive和Hadoop关系 2.3、Hive架构图、各组件功能 2.4、Hive安装部署 2.4.1、Hive概念介绍 2.4.2、安装前准备     数据仓库 (英语:Data Warehous

    2024年01月22日
    浏览(49)
  • Hive 数据仓库介绍

    目录 ​编辑 一、Hive 概述 1.1 Hive产生的原因 1.2 Hive是什么? 1.3 Hive 特点 1.4 Hive生态链关系 二、Hive架构 2.1 架构图 2.2 架构组件说明 2.2.1 Interface 2.2.1.1 CLI 2.2.1.2 JDBC/ODBC 2.2.1.3 WebUI 2.2.2 MetaData 2.2.3 MetaStore 2.2.4 Hiveserver2 2.2.5 Driver 2.2.5.1 解释器 2.2.5.2 编译器 2.2.5.3 优化器 2.2.5.4 执行

    2024年02月07日
    浏览(42)
  • Hive数据仓库

    数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面相分析的集成化数据环境,分析结果为企业提供决策支持(Decision Support)。 数据仓库本身并不“产生”任何数据,其数据来源不同外部系统; 同时数据仓库

    2024年02月15日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包