【Hadoop】-Hive部署[12]-Toy模板网

这篇具有很好参考价值的文章主要介绍了【Hadoop】-Hive部署[12]。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

思考

VMware虚拟机部署

规划

步骤1：安装MySQL数据库

步骤2：配置Hadoop

步骤3：下载解压Hive

步骤4：提供MySQL Driver包

步骤5：配置Hive

步骤6：初始化元数据库

步骤7：启动Hive（使用hadoop用户）

部署Hive的主要流程：

思考

Hive是分布式运行的框架还是单机运行的？

Hive是单机工具，只需要部署在一台服务器即可。

Hive虽然是单机的，但是他可以提交到分布式运行的MapReduce程序运行。

VMware虚拟机部署

规划

我们知道Hive是单机工具后，就需要准备一台服务器供Hive使用即可。

同时Hive需要使用元数据服务，即需要提供一个关系型数据库，我们也选择一台服务器安装关系型数据库即可。

服务	机器
Hive本体	部署在node1
元数据服务所需的关系型数据库(MySQL)	部署在node1

步骤1：安装MySQL数据库

我们在node1节点使用yum在线安装MySQL5.7版本。(root执行）

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

# yum安装Mysql
yum -y install mysql-community-server

# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld

# 检查Mysql服务状态
systemctl status mysqld

# 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log

# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
 
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';

# 如果你想设置简单密码，需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可

# 然后就可以用简单密码了（课程中使用简单密码123456，为了方便，生产中不要这样）
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';


grant all privileges on *.* to root@"%" identified by '123456' with grant option;  
flush privileges;

步骤2：配置Hadoop

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖）

同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户

即设置hadoop用户允许代理（模拟）其它用户

配置如下内容在Hadoop的core-site.xml中，并分发到其它节点，且重启HDFS集群

【Hadoop】-Hive部署[12],hadoop,hadoop,hive,大数据

步骤3：下载解压Hive

切换到hadoop用户

su - hadoop

下载Hive安装包：

http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

解压到node1服务器的：/export/server/内（root运行）

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

设置软连接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

步骤4：提供MySQL Driver包

下载MySQL驱动包：

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

将下载好的驱动jar包，放入：Hive安装文件夹的lib目录内

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

【Hadoop】-Hive部署[12],hadoop,hadoop,hive,大数据

这里注意hive的路径（没有设置软连接的情况）。

步骤5：配置Hive

在Hive的conf目录内，新建hive-env.sh文件，填入以下环境变量内容：

export HADOOP_HOME=/export/server/hadoop

export HIVE_CONF_DIR=/export/server/hive/conf

export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在Hive的conf目录内，新建hive-site.xml文件，填入以下内容：

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>

  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
  </property>

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
  </property>

  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>

</configuration>