Hive 环境搭建与基本使用
Hive 安装包下载地址:https://dlcdn.apache.org/hive/
注:安装 Hive 前要先安装好 MySQL
1. MySQL 安装
MySQL 安装包下载地址:https://dev.mysql.com/downloads/mysql/archives/community/MySQL%20::%20Download%20MySQL%20Community%20Serverhttps://dev.mysql.com/downloads/mysql/archives/community/
说明:三台节点都安装
- 检查 MySQL 和 mariadb 是否已安装过,有就删除,没有则忽略
rpm -qa|grep mysql
rpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
- 删除 MySQL 分散的文件夹
whereis mysql
rm -rf /usr/lib64/mysql
find / -name mysql
rm -rf
- 准备安装包
MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
, 上传,解压,命令:
tar -xvf MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
- 安装服务端:
rpm -ivh MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm
- 安装客户端:
rpm -ivh MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpm
- 启动MySQL:
service mysql start
- 获取初始密码:
cat /root/.mysql_secret
- 登录MySQL:
mysql -uroot -pxxx
- 修改密码:
mysql> set PASSWORD=PASSWORD('111111');
- 退出重新登录,验证新密码是否设置成功:
mysql> exit
mysql -uroot -p111111
- 增加远程登录权限:
mysql> grant all privileges on *.* to 'root'@'%' identified by '111111' with grant option;
mysql> flush privileges;
至此 MySQL 安装成功
2. Hive 安装
说明:安装到一个节点即可
1. Hive1 安装
-
安装 MySQL
-
上传软件包
apache-hive-1.2.1-bin.tar.gz
-
解压安装包并更名:
tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive
- 修改配置文件,目录下面没有,直接vim就可以:
[root@hadoop0 ~]# cd /software/hive/conf/
[root@hadoop0 conf]# vim hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>111111</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
一定要记得加入 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar
该 jar 包放置在 hive 的根路径下的 lib
目录
安装完成,配置环境变量
vi /etc/profile
export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin
- 验证 Hive 安装
[root@hadoop0 lib]# hive --help
- 初始化元数据库
schematool -dbType mysql -initSchema
- 启动 Hive 客户端(直接使用 hive 启动也行)
[root@hadoop0 bin]# hive --service cli>
- 退出
quit; 或 exit;
2. Hive2 安装
上传安装包 apache-hive-2.3.8-bin.tar.gz
解压安装包
tar -zxvf apache-hive-2.3.8-bin.tar.gz
mv apache-hive-2.3.8-bin hive2
修改配置文件(目录下面没有,直接vim就可以了)
cd hive2/conf
vi hive-site.xml # 将下面内容写入hive-site.xml文件中
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>111111</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
说明:
-
配置连接器信息,设置 MySQL 作为元数据存储的位置
- localhost 表示:MySQL 和 Hive 客户端装在 Hadoop0 上
- 若 MySQL 和 Hive 不装在一起,则 “localhost” 改为安装 MySQL 的机器 ip
-
hivedb2 表示:是之后初始化后,在MySQL里生成的元数据库的名字
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
- 配置用户名和密码
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>111111</value>
</property>
- 配置存到 HDFS 上默认路径的信息
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
将 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar
放到 hive 的根路径下的 lib 目录
修改环境变量
vi /etc/profile
export HIVE_HOME=/software/hive2
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
验证Hive安装:
hive --help
初始化元数据(当 Hive 依赖普通分布式 Hadoop 集群,不做初始化也是 OK 的,当 Hive 第一次启动的时候会自动进行初始化):
schematool -dbType mysql -initSchema
3. 启动 Hive 的两个前提
1. MySQL 元数据库已开启
[root@hadoop0 ~]# service mysql status
SUCCESS! MySQL running (2022)
2. Hadoop 已启动
[root@hadoop0 ~]# jps
23106 Jps
2787 NameNode
3115 ResourceManager
7119 RunJar
启动 Hive 客户端:hive
退出 Hive 客户端:quit;
或 exit;
4. Hive 重装
Hive 重装需要注意:文章来源:https://www.toymoban.com/news/detail-474249.html
- 保证之前 Hive 数据仓库的默认的 hdfs 目录不存在(删掉或创建新的)
- 保证元数据库不存在,或换一个名字
基于同一个 Hadoop 集群搭建多个不同的 Hive 数据仓库:文章来源地址https://www.toymoban.com/news/detail-474249.html
- 保证默认的仓库路径不一致
- 保证元数据库的路径不一致
到了这里,关于【大数据工具】Hive 安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!