Hadoop——Hive运行环境搭建

这篇具有很好参考价值的文章主要介绍了Hadoop——Hive运行环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Windows:10         JDK:1.8         Apache Hadoop:2.7.0

Apache Hive:2.1.1         Apache Hive src:1.2.2         MySQL:5.7

1、下载

Hadoop搭建

Apache Hive 2.1.1:https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

Apache Hive 1.2.2 src:https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.2.2-src.tar.gz

MySQL驱动下载:MySQL :: Begin Your Download或使用我下载好的(百度网盘 提取码:1024)

这里是以我安装版本,搭建操作都是一样的。

2、Hadoop和Hive版本

注意:Hive中对应的Hive版本最好不要比你安装的Hadoop版本高。

可以在解压后的Hive src中的pom.xml文件中查看:

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 文章来源地址https://www.toymoban.com/news/detail-602412.html

3、Mysql驱动配置

将下载好的MySQL驱动解压,将mysql-connector-java-5.1.46目录下的mysql-connector-java-5.1.46-bin.jar复制到apache-hive-2.1.1-bin\lib目录下。

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

4、配置变量

HIVE_HOME:

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 PATH:

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 注意:以自己存放路径为准,E:\hadoop\..只是我自己的存放位置,下面相关路径操作同理。

5、修改配置文件名

找到apache-hive-2.1.1-bin\conf目录下的4个文件,重命名:

hive-default.xml.template -----> hive-site.xml

hive-env.sh.template -----> hive-env.sh

hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties

hive-log4j2.properties.template -----> hive-log4j2.properties

6、创建目录

\apache-hive-2.1.1-bin\my_hive

\apache-hive-2.1.1-bin\my_hive\operation_logs_dir

\apache-hive-2.1.1-bin\my_hive\querylog_dir

\apache-hive-2.1.1-bin\my_hive\resources_dir

\apache-hive-2.1.1-bin\my_hive\scratch_dir

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 

7、修改配置

修改hive-env.sh

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

修改hive-site.xml

四个新建文件路径配置:

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

连接数据库相关配置:

账号是否为root,密码是否为123456,端口是否为3306,如果不一样,就需要更改。

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

注意:useSSL=false要放最后,不然后面启动hive metastore服务会报错  

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 

8、在Hadoop上创建HDFS目录

hdfs dfs -mkdir -p /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -chmod 777 /tmp

hdfs dfs -chmod 777 /user/hive/warehouse

9、创建数据库

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 

10、启动Hadoop

到Hadoop的sbin目录下右键管理员身份运行start-all.cmd,或命令运行:start-all.cmd

11、启动hive metastore服务

以管理员身份打开cmd,目录切换到\apache-hive-2.1.1-bin\bin,输入命令:hive --service schematool -dbType mysql -initSchema

使用命令hive --service metastore的启动方式不适合Windows

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 如果在mysql中hive表中出现下图中许多表的情况,则说明开启成功。

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

只需要在第一次启动,之后再使用Hive就不需要再启动,可跳过这个阶段。

12、启动hive

以管理员身份打开cmd,目录切换到\apache-hive-2.1.1-bin\bin,输入命令:hive.cmd

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 尝试建一个表:create table stu(id int, name string),如果创建成功可以在管理界面看见:

Hadoop——Hive运行环境搭建,Hadoop,Java,hadoop,hive,大数据

 

到了这里,关于Hadoop——Hive运行环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(52)
  • hadoop集群搭建+hive安装

    VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysql:mysql-connector-java-8.0.19 jdk:jdk-8u91-linux-x64.tar(注意要是linux版本的,因为是在linux系统中创建虚拟机) hive:hive1.2.1 小技巧: 右键单击可以paste 1.选择典型即可 2.将ubuntu镜像文件导入: 3.用户名要记住

    2024年02月05日
    浏览(103)
  • 【大数据】Hadoop运行环境搭建

    使用VMware虚拟机搭建基于CentOS7的Hadoop环境: cpu核数(需要搭建3台Hadoop组成集群,加上Windows本机,所以可以分配的数量为本机的cpu核数除以4) 内存至少4G 硬盘最少50G 创建虚拟机: 新建虚拟机,选择自定义(高级)—硬件兼容性默认—选择稍后安装操作系统 —客户机操作系统

    2024年02月08日
    浏览(43)
  • hadoop搭建、mysql、hive部署

    一、 HDFS安装搭建 1.1 关闭虚拟机防火墙 在之后的学习、操作中,经常会遇到在宿主机中通过程序去访问虚拟机中的相关软件,但是默认情况下,虚拟机的防火墙是不允许访问,这是需要开启一个一个的端口号,比较麻烦,所以在教学过程中,为了提高教学、学习的效率,直

    2024年02月08日
    浏览(43)
  • 搭建hadoop和hive分析脚本

    搭建环境 hdfs操作 创建路径 上传 HIVE数据库操作 创库 建表 导入数据 导出文件 #输出路径 先选 数据分析校验输出 Hive会自动生成输出文件,并将结果写入这些文件中。你不需要提前创建 part-r-00000 文件,Hive会根据配置自动创建文件并命名 # 联合输出 $ javac -classpath $(hadoop cla

    2024年02月16日
    浏览(44)
  • 【大数据】hadoop运行环境搭建(搭建如此简单)

    首先准备好工具。下载好最新的VMware Workstation,CentorOS 7运行Linux,建议Linux桌面标准版,且创建好一个用户 安装模板虚拟机。IP地址192.168.150.100(自定义)、主机名称hadoop100、内存4G、硬盘50G,嘎嘎重要,一步一步来完成 vim /etc/sysconfig/network-scripts/ifcfg-ens33 进入配置文件(想不

    2024年02月08日
    浏览(37)
  • docker搭建hadoop和hive集群

    安装docker教程 https://www.runoob.com/docker/centos-docker-install.html 只要在终端输入: 后出现如下图的内容就证明安装docker成功了 在终端输入: 在终端输入:sudo docker images,可以看到刚刚拉取的两个镜像 每次执行docker语句都要在前面加sudo,比较麻烦,直接将hadoop用户加入docker用户组

    2024年02月01日
    浏览(55)
  • 大数据技术之Hadoop-运行环境搭建

     1. 设置VMware 网段   在 VMware 的虚拟网络编辑器中,将 VMnet8 虚拟网卡的: 网段设置为: 192.168.88.0 网关设置为:192.168.88.2  2. 下载CentOS操作系统 首先,我们需要下载操作系统的安装文件,本次使用 CentOS7.6 版本进行学习: 首先,我们需要下载操作系统的安装文件,本次使用

    2024年03月10日
    浏览(57)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(100)
  • 分布式搭建(hadoop+hive+spark)

    hadoop-master 192.168.43.141 hadoop-slave1 192.168.43.142 hadoop-slave2 192.168.43.143 链接:https://pan.baidu.com/s/1OwKLvZAaw8AtVaO_c6mvtw?pwd=1234 提取码:1234 MYSQL5.6:wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm Scale:wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz

    2024年02月12日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包