9.Linux虚拟机下Hive的安装配置

这篇具有很好参考价值的文章主要介绍了9.Linux虚拟机下Hive的安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hadoop及相关组件搭建指导WeChat:h19396218469
hadoop-3.1.3
jdk-8u162-linux-x64
apache-hive-3.1.2-bin

本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
提取码:lkjh(若链接失效在下面评论,我会及时更新)

一、安装Hive

1.解压Hive安装包

先进入文件存放目录Downloads,再执行如下命令。

sudo tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local 	#将文件解压到/usr/local/中
cd /usr/local/	#进入/usr/local/文件夹
sudo mv apache-hive-3.1.2-bin hive	#将文件名修改为hive
sudo chown -R dblab:dblab hive	#修改文件权限

上面的dblab:dblab是用户组和用户名,根据自身情况进行更改

2.配置环境变量

使用vim编辑器打开.bashrc文件。

vim ~/.bashrc

在文件最前面添加如下内容:

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop

HADOOP_HOME需要被配置成你机器上的Hadoop安装路径。
保存退出,运行如下命令令配置生效。

source ~/.bashrc

3.修改/usr/local/hive/conf下的hive-site.xml

执行如下命令

cd /usr/local/hive/conf
mv hive-default.xml.template hive-default.xml	#修改文件名

使用vim编辑器新建一个配置文件hive-site.xml。

cd /usr/local/hive/conf
vim hive-site.xml

在hive-site.xml中添加如下配置信息。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

保存退出。

二、安装并配置mysql

本文这里采用了yum安装方式。

1、配置阿里镜像

首先将镜像修改为国内阿里云仓库repo。

(1)备份现有repo仓库
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
(2)下载并使用阿里云仓库repo
curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo
(3)更新yum
yum clean all
yum makecache

2、yum命令安装MySQL

(1)查看系统是否自带MySQL
yum list installed | grep mysql
(2)如果已安装,则卸载,使用命令:
yum -y remove mysql-libs.x86_64
(3)查看yum库上MySQL的版本信息,命令:
yum list | grep mysql 或 yum -y list mysql*
(4)使用yum安装MySQL数据库
yum -y install mysql-server mysql mysql-devel
(5)查看MySQL版本信息
rpm -qi mysql-server
(6)启动MySQL,执行命令
service mysqld start

如需要开机启动

chkconfig mysqld on
(7)数据库安全配置向导
mysql_secure_installation

按提示一步一步操作。

(8)登入MySQL
mysql -uroot -p
(9)新建hive数据库
mysql> create database hive;    #这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据
(10)配置MySQL允许Hive接入
mysql> grant all on *.* to hive@localhost identified by 'hive';   #将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码
mysql> flush privileges;  #刷新mysql系统权限关系表
(11)以上步骤完成之后启动hive即可
start-dfs.sh #启动Hadoop的HDFS
hive  #启动hive

三、启动Hive可能出现的问题

错误1

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
原因:
hive内的guava.jar和hadoop内的版本不一致
解决方法:

(1)查看hadoop安装目录下share/hadoop/common/lib内的guava.jar版本
 cd /usr/local/hadoop/share/common/lib	#进入目标文件夹
 ll	#查看guava.jar版本
(2)查看hive安装目录下lib内的guava.jar版本
 cd /usr/local/hive/lib
 ll
(3)如果两者版本不一致,删除版本低的,拷贝版本高的
rm -rf  文件名	#删除命令
cp 复制文件所在路径 粘贴文件目标路径	#拷贝命令 

错误2

9.Linux虚拟机下Hive的安装配置
需要将链接MySQL的驱动jar包拷贝到hive的lib文件夹下文章来源地址https://www.toymoban.com/news/detail-477832.html

cd Downloads	#找到mysql-connector-java-5.1.40.tar.gz文件存放目录
sudo tar -zxvf mysql-connector-java-5.1.40.tar.gz -C /usr/local	#解压文件到指定文件夹
cd /usr/local
cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar  /usr/local/hive/lib	#将包拷贝到hive的lib文件夹下

到了这里,关于9.Linux虚拟机下Hive的安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 初学者部署Ambari及通过Ambari安装hadoop相关组件

    目录 1.准备工作 1.2初始化配置 1.2.1设置主机名 1.2.2HOSTS文件 1.2.3关闭防火墙和selinux 1.2.4免密配置(单台机器也需要) 1.2.5修改yum源为阿里源 1.2.6配置JAVA环境变量(如果未安装java环境则需要先安装) ​​​​​​​1.2.7NTP时钟同步 ​​​​​​​1.2.8安装httpd服务 ​​​​​​​

    2024年02月06日
    浏览(29)
  • Hadoop之Hive的安装配置(详细步骤)

    配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压安装包 输入解压命令: 配置  1、配置环境变量 在文件末尾增加如下内容: 使环境变量生效 进入 cd /home/ZQ/apache-hive-2.1.1-bin/conf/ 2、配置hive-env.sh  如果有hive-env.sh.template文件则输入下面的命令将 hive-

    2024年02月04日
    浏览(29)
  • 【hadoop——Hive的安装和配置】保姆式教学

      目录 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: 3.然后切换至目录 /usr/local,将文

    2023年04月22日
    浏览(30)
  • Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列

    目录 Linux安装配置Zookeeper Linux安装配置Hadoop Linux安装Hbase 新建文件夹 下载到指定文件夹 官网 Apache ZooKeeper 解压到指定文件 查看 进入目录 创建日志/数据文件夹 复制配置文件 使用vim进入zoo.cfg 修改为如下:  记录一下zookeeper的路径然后 刷新资源 运行 查看状态 创建文件夹加

    2024年02月14日
    浏览(33)
  • Linux 虚拟机安装 hadoop

    目录 1 hadoop下载 2 解压hadoop 3 为 hadoop 文件夹改名 4 给 hadoop 文件夹赋权  5 修改环境变量 6 刷新环境变量 7 在hadoop313目录下创建文件夹data 8 检查文件  9 编辑 ./core-site.xml文件  10 编辑./hadoop-env.sh文件 11 编辑./hdfs-site.xml文件  12 编辑./mapred-site.xml 文件 13 编辑./yarn-site.xml文件

    2024年02月11日
    浏览(27)
  • Hive 组件安装配置

    一,下载和解压安装文件 (1)使用 root 用户,将 Hive 安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。 (2)将解压后的 apache-hive-2.0.0-bin 文件夹更名为 hive; (3)修改 hive 目录归属用户和用户组为 hadoop 二,设置 Hive 环境 步骤一:卸载 MariaDB 数据库 (

    2024年04月15日
    浏览(24)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(41)
  • Hadoop——Hive相关问题汇总

    (1) 连接数据库时SSL问题  解决方法:useSSL=false要放最后 (2) jdbc:hive2://localhost:10091: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: Áõ¸ is not allowed to impersonate root org.apache.hadoop.ipc.RemoteException:User: Áõ¸

    2024年02月16日
    浏览(29)
  • 【hadoop】Linux安装和配置

    创建新的虚拟机 选择“自定义(高级)” 选择“下一步” 选择“稍后安装操作系统” 选择操作系统的类型 设置虚拟机名称和保存路径 下一步 下一步 设置网络类型,选择“使用仅主机模式网络” 下一步 下一步 下一步 设置硬盘容量,可以适当大一些 下一步 点击“完成”

    2024年02月13日
    浏览(72)
  • 关于Hadoop生态圈相关组件的介绍

    Hadoop起源于Apache Nutch项目,Apache Nutch 项目起源于Apache Lucene项目,这三个项目的创始人都是Doug Cutting。 2003年谷歌发表关于GFS(Google File System,Google文件系统)分布式存储系统的论文。 2004年:Doug Cutting和Mike Cafarella基于GFS论文实现Nutch的分布式文件系统NDFS。 2004年发表关于Ma

    2024年03月24日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包