Windows下安装Hive-Toy模板网

这篇具有很好参考价值的文章主要介绍了Windows下安装Hive。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Windows 下安装Hive

一、hive与hadoop的兼容选择

hive官网下载地址：https://archive.apache.org/dist/hive/

hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/

以hive-2.3.5为例

1、下载apache-hive-2.3.5-src.tar.gz

2、解压后，查看apache-hive-2.3.5-src/pom.xml文件

部分内容如下(line 141: <hadoop.version>2.7.2</hadoop.version>
hive windows,hive,hadoop,windows
即，hive-2.3.5对应的hadoop版本号是2.7.2

参考资料： https://blog.csdn.net/m0_67401228/article/details/123936108

二、JDK安装

jdk版本：jdk1.8.0_211

1、下载解压至自定义路径下

2、环境变量配置，依次点击我的电脑-属性-高级系统设置-环境变量-新建系统变量，如下图所示：
hive windows,hive,hadoop,windows
编辑系统变量Path，添加如下图所示两个值（最好将其复制到文本上编辑）

3、检测是否安装成功

打开cmd, 输入命令java -version 如下图所示：
hive windows,hive,hadoop,windows

三、安装Hadoop

1、下载hive-2.3.5对应版本的hadoop-2.7.2.tar.gz 文件，并解压至自定义目录下

2、Hadoop环境变量配置

参考JDK环境变量配置，如下图所示：
hive windows,hive,hadoop,windows
编辑系统变量Path，添加如下图所示值(和jdk的path操作一样):

3、测试

打开cmd输入命令: hadoop ,正常应如下图所示：
hive windows,hive,hadoop,windows
4、新建目录

在D:\software\hadoop-2.7.2目录下新建data/dfs/namenode与data/dfs/datanode 两个目录文件夹，如下图所示：
hive windows,hive,hadoop,windows
5、修改配置文件

进入目录：D:\software\hadoop-2.7.2\etc\hadoop 下：

修改core-site.xml文件,添加如下代码:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hive windows,hive,hadoop,windows

修改hdfs-site.xml文件，并将datanode和namenode改为自己的目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software/hadoop-2.7.2/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software/hadoop-2.7.2/data/dfs/datanode</value>
    </property>
</configuration>

hive windows,hive,hadoop,windows
修改mapred-site.xml.template文件,将文件重命名为：修改mapred-site.xml，并添加如下代码：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

hive windows,hive,hadoop,windows
修改yarn-site.xml文件,并添加如下内容：

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

hive windows,hive,hadoop,windows
修改hadoop-env.cmd文件设置java目录：

@rem The java implementation to use.  Required.
set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk1.8.0_211

位置如下：
hive windows,hive,hadoop,windows
6、下载winutils

由于hadoop不能直接直接在windows环境下启动，需要依赖hadoop的winutils
hive windows,hive,hadoop,windows
这里给出两个下载路径首先是 githttps://github.com/cdarlint/winutils

如果大家在git上下载不下来，或者下载慢，这里提供一个百度网盘的下载路径 https://pan.baidu.com/s/1a5et7e6oLir2dgABPJkgqg?pwd=yyds

下载好之后，挑选和你hadoop相同的版本，将bin中的内容直接拷贝到你安装的hadoopbin目录下，有重复的替换即可。
hive windows,hive,hadoop,windows
原文链接：https://blog.csdn.net/weixin_43850384/article/details/126007016

7、格式HDFS，启动Hadoop

格式化HDFS，打开cmd，输入命令

hadoop namenode -format

看到successfully证明成功初始化。
hive windows,hive,hadoop,windows
之后切换到hadoop安装目录下的sbin目录(D:\software\hadoop-2.7.2\sbin)，输入以下内容：

start-all.cmd

会依次弹出四个命令框，分别为namenode、datanode、resourcemanager、nodemanager

hive windows,hive,hadoop,windows
浏览器输入：http://localhost:50070/ 注意:hadoop-3.x版本地址是：http://localhost:9870

hive windows,hive,hadoop,windows

8、测试文件上传

切换到hadoop下的bin目录，输入

hadoop fs -mkdir /test

hive windows,hive,hadoop,windows
随意上传一个文件:hdfs dfs -put “你的文件路径” /test

hadoop dfs -put /D:/tmp/info.log /test

hive windows,hive,hadoop,windows

四、HVIE安装

1、下载apache-hive-2.3.5-bin.tar.gz 文件，并解压至自定义目录下，并重命名为hive-2.3.5

注意当前版本没有cmd命令可以从以前的版本拷贝至相同的目录下

2、Hive环境变量配置

参考JDK环境变量配置，如下图所示：
hive windows,hive,hadoop,windows
编辑系统变量Path，添加如下图所示值(和jdk的path操作一样):

3、新建目录

创建如下四个空目录：

D:\software\hive-2.3.5\data_hive\operation_logs
D:\software\hive-2.3.5\data_hive\querylog
D:\software\hive-2.3.5\data_hive\resources
D:\software\hive-2.3.5\data_hive\scratch

hive windows,hive,hadoop,windows
4、MySql驱动配置

将mysql-connector-java-5.1.47-bin.jar复制到D:\software\hive-2.3.5\lib目录下，如下图
hive windows,hive,hadoop,windows
5、修改配置文件

进入D:\software\hive-2.3.5\conf目录下：

将 hive-log4j2.properties.template 重命名为 hive-log4j2.properties

将 hive-exec-log4j2.properties.template 重命名为 hive-exec-log4j2.properties

修改hive-env.sh文件，将hive-env.sh.template文件重命名为hive-env.sh

新增以下内容，路径注意修改为自己的

# Set HADOOP_HOME to point to a specific hadoop install directory
 HADOOP_HOME=D:\software\hadoop-2.7.2

# Hive Configuration Directory can be controlled by:
 export HIVE_CONF_DIR=D:\software\hive-2.3.5\conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
 export HIVE_AUX_JARS_PATH=D:\software\hive-2.3.5\lib

修改hive-site.xml文件，hive-default.xml.template文件重名为hive-site.xml

路径注意修改为自己的

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>D:/software/hive-2.3.5/data_hive/scratch</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>D:/software/hive-2.3.5/data_hive/resources/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

6、创建数据库（mysql5.7.*）

创建数据库，注意字符集和排序规则的设置属性

hive windows,hive,hadoop,windows
7、再次编辑hive-site.xml文件配置数据库

注意改成自己的

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password6</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:13305/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

8、测试

启动hadoop

进入D:\software\hadoop-2.7.2\sbin目录下，点击start-dfs.cmd启动两个窗口服务即成功

初始化hive数据库

打开cmd输入下面命令：

hive --service schematool -dbType mysql -initSchema

hive windows,hive,hadoop,windows
9、启动hive操作数据库

开的cmd命令窗口，输入：hive 如下图进入hive

hive windows,hive,hadoop,windows 文章来源地址https://www.toymoban.com/news/detail-653452.html

到了这里，关于Windows下安装Hive的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

Windows下安装Hive