1. Toy模板网首页
  2. > Toy博客

23年hadoop单机版+hive

9月前 作者：羽落风起 分类：Toy博客 阅读(82) 违法举报

这篇具有很好参考价值的文章主要介绍了23年hadoop单机版+hive。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

说明

工作需要研究hive功能，线上环境不能动，搭建单机版hadoop+hive测试环境，使用当前最新hadoop 3.3.6+ hive 3.1.3。

分享

  • 大数据博客列表
  • 开发记录汇总
  • 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
    • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

环境信息

  • 系统环境 centos7
  • 安装目录：
    • java: /usr/java/
    • hadoop: /opt/module/
    • hive: /opt/module/

安装

jdk

  • 准备java8安装包：jdk-8u201-linux-x64.tar.gz

  • 解压安装：mkdir -p /usr/java && tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/java/

  • 配置环境变量，编辑文件：vi /etc/profile.d/my_env.sh 增加jdk环境变量

    
#JAVA_HOME export是全局变量
export JAVA_HOME=/usr/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

  • 刷新配置 source /etc/profile

  • 验证 java -version

hadoop

  • 下载hadoop 3.3.6 下载地址 ，解压安装包: mkdir -p /opt/module/ && tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/
  • hadoop不添加到环境变量，hive配置文件指定物理路径

配置core-site.xml

  • 修改文件：vi /opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml，configuration 节点间增加主机和用户组权限配置，完整内容如下：
<configuration>
    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>
</configuration>

mysql

  • hive运行需要mysql存储元数据，mysql8版本 8.0.33 下载地址
  • 安装过程
# 解压安装包
tar -xvf mysql-*-1.el7.x86_64.rpm-bundle.tar

# 安装 
rpm -ivh mysql-community-common-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-libs-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-client-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-server-*-1.el7.x86_64.rpm --nodeps --force

# 验证，查看安装mysql
rpm -qa | grep mysql

# 输入以下命令，完成mysql初始化
mysqld --initialize
# 设置目录权限
chown mysql:mysql /var/lib/mysql -R

# 启动服务和开机启动
systemctl start mysqld.service && systemctl enable mysqld

# 查看默认初始化密码
cat /var/log/mysqld.log | grep password
# 重置root密码并设置root账号远程登录
mysql -uroot -p --connect-expired-password -e "alter user 'root'@'localhost' identified by '12WE#o89T';
create user 'root'@'%' identified by '12WE#o89T';
USE mysql;
grant all on *.* TO 'root'@'%';
FLUSH PRIVILEGES;"

hive

  • hive 3.1.3 下载地址

安装

  • 解压安装：mkdir -p /opt/module/ && tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
  • 配置环境标量，编辑文件：vi /etc/profile.d/my_env.sh，增加如下内容
export HIVE_HOME=/opt/module/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin
  • 刷新配置 source /etc/profile

配置hive-site.xml

  • 复制文件，cp /opt/module/apache-hive-3.1.3-bin/conf/hive-default.xml.template /opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml
  • 修改下面内容，注意自己MySQL配置，vi /opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml，添加如下内容
  <!-- mysql连接地址 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?&amp;createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
  </property>
  <!-- mysql用户名 -->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <!-- mysql密码 -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>12WE#o89T</value>
  </property>
  <!-- mysql连接驱动类，这里用mysql8,mysql5是：com.mysql.jdbc.Driver -->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value> 
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <!-- hive登录用户名 -->
  <property>
    <name>hive.server2.thrift.client.user</name>
    <value>root</value>
    <description>Username to use against thrift client</description>
  </property>
  <!-- hive登录用户密码 -->
  <property>
    <name>hive.server2.thrift.client.password</name>
    <value>1234</value>
    <description>Password to use against thrift client</description>
  </property>
  <!-- 数据缓存目录 -->
  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/hive</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  • 设置缓存目录权限：chmod 777 /tmp/hive

配置hive-env

  • 复制hive-env.sh文件 cp /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh.template /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh
  • 修改文件添加Hadoop、hive路径，vi /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh 
HADOOP_HOME=/opt/module/hadoop-3.3.6
export HIVE_CONF_DIR=/opt/module/apache-hive-3.1.3-bin/conf

初始化mysql数据库

  • 下载mysql连接jar：wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar，放在 cp mysql-connector-java-*.jar /opt/module/apache-hive-3.1.3-bin/lib && ls /opt/module/apache-hive-3.1.3-bin/lib/mysql-connector-java-*.jar
  • 初始化mysql数据库：/opt/module/apache-hive-3.1.3-bin/bin/schematool -initSchema -dbType mysql
  • 最后提示completed说明初始化成功
Initialization script completed
schemaTool completed
  • 初始化报错
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
at [row,col,system-id]: [3215,96,"file:/opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml"]
    at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3101)
    at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:3050)
    at org.apache.hadoop.conf.Configuration.loadProps(Configuration.java:2923)
    at org.apache.hadoop.conf.Configuration.addResourceObject(Configuration.java:1035)
    at org.apache.hadoop.conf.Configuration.addResource(Configuration.java:940)
    at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5154)
    at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5107)
    at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
    at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:328)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:241)

    解决方法，删除：file:/opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml 3215行注释即可，原因是xml解析异常。

启动验证

hive命令
  • hive命令是本地客户端登录，官方推荐使用hiveServer2的beeline方式。
    23年hadoop单机版+hive,hadoop,hive,硬件架构
hiveserver2方式

  • 创建日志目录：mkdir -p /opt/module/logs/,后台启动 hiveserver2 服务：nohup hive --service hiveserver2 > /opt/module/logs/hive3.1.3.log 2>&1 &

  • beeline 连接验证

beeline
!connect jdbc:hive2://localhost:10000 root 1234

23年hadoop单机版+hive,hadoop,hive,硬件架构文章来源地址https://www.toymoban.com/news/detail-528119.html

总结

  • hive云数据存储数据库可以不用mysql，习惯用mysql，也可以简化安装用其他数据库。

到了这里，关于23年hadoop单机版+hive的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 最新版本——Hadoop3.3.6单机版完全部署指南

    最新版本——Hadoop3.3.6单机版完全部署指南

    大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资

    2024年02月03日
    浏览(48)
  • hadoop3.3.1单机版环境搭建详细流程记录

    hadoop3.3.1单机版环境搭建详细流程记录

    安装vim即可； 按“o”进入编辑模式； 编辑完内容后，“esc”--“:”--\\\"wq\\\"--回车，执行保存并退出。 点\\\"i\\\"或者\\\"o\\\"进入编辑模式； 编辑完后，点\\\"Esc\\\"--\\\":\\\"--\\\"wq\\\"，回车，保存退出。 生成公钥和私钥；（一直点下去即可） 授权是单向的； 8.1、方法一： 进入 ~/.ssh 目录下，查看生成

    2024年02月09日
    浏览(47)

  • 从0到一搭建Kafka-单机版-通过单机版zookeeper配置

    教程https://www.bilibili.com/video/BV1t34y1G7NW/ 首先得找到一些基本概念： Java 程序从源代码到运行主要有三步： 编译 ：将我们的代码（.java）编译成虚拟机可以识别理解的字节码(.class) 解释 ：虚拟机执行Java字节码，将字节码翻译成机器能识别的机器码 执行 ：对应的机器执行二进

    2024年02月07日
    浏览(47)

  • Redis单机版搭建

    redis版本redis-5.0.7 虚拟机系统centos7.4 用户 root 下载地址 http://download.redis.io/releases/ 进入安装目录 cd /usr/local/redis (编译目录) 下载redis并解压到指定目录 wget http://download.redis.io/releases/redis-5.0.7.tar.gz tar zxvf redis-5.0.7.tar.gz cd redis-5.0.7/ 编译安装redis cd /usr/local/redis/redis-5.0.7 make make

    2024年02月07日
    浏览(50)
  • 安装配置 zookeeper（单机版）

    安装配置 zookeeper（单机版）

    目录 一 准备并解压安装包 二 修改zoo.cfg文件 三 创建相应两个目录 四 创建文件myid  五 修改环境变量 六 启动 zookeeper         这里提供了网盘资源  http://链接: https://pan.baidu.com/s/1BybwSQ_tQUL23OI6AWxwFw?pwd=d4cf         提取码: d4cf         这里的安装包是放在/opt/install 目

    2024年02月08日
    浏览(59)

  • Elasticsearch单机版本安装

    OS: CentOS Linux release 7.9.2009 (Core) 机器: 10.28.19.107 ES、Kibana安装版本： 7.15.2 Elasticsearch：https://www.elastic.co/cn/downloads/past-releases#elasticsearch Kibana: https://www.elastic.co/cn/downloads/past-releases#kibana 提前下载好 elasticsearch-7.15.2-linux-x86_64.tar.gz 、 kibana-7.15.2-linux-x86_64.tar.gz ，上传至/opt目录下。

    2023年04月14日
    浏览(52)
  • zookeeper单机版的搭建

    zookeeper单机版的搭建

    1.解压压缩包 [root@localhost export]# tar -zxvf zookeeper-3.7.0-bin.tar.gz 2.创建data文件夹 [root@localhost export]# cd apache-zookeeper-3.7.0-bin/ [root@localhost apache-zookeeper-3.7.0-bin]# ls bin  conf  docs  lib  LICENSE.txt  NOTICE.txt  README.md  README_packaging.md [root@localhost apache-zookeeper-3.7.0-bin]# pwd /root/export/apache-

    2024年02月05日
    浏览(45)
  • HBase单机版安装详细步骤

    HBase单机版安装详细步骤

    目录 一、安装HBase前置环境 1.jdk 2.hadoop 3.zookeeper 二、安装HBase步骤 (一)解压 (二)修改文件名 (三)修改配置文件 (四)配置HBase的环境变量 (五)启动HBase 1.启动hadoop 2.启动zookeeper 3.启动hbase 4.jps出现HMaster和HRegionServer 5.HBase的WebUI (六)HBase的逻辑结构： (七)HBase基本命令  1.进入HBase

    2024年02月07日
    浏览(61)
  • Nacos单机版安装启动流程

    Nacos单机版安装启动流程

    安装地址：https://github.com/alibaba/nacos/ 1、选择自己需要的版本  2、选择自己的环境下在对应的压缩包  3、下载后放到自己的文件目录中解压 4、window环境修改startup.cmd文件，改为单机部署后，就可以直接点击cmd文件直接启动了 mac通过终端进入cd ～/nacos/bin 目录下，通过命令 

    2024年02月11日
    浏览(58)
  • 【大数据】安装 Zookeeper 单机版

    【大数据】安装 Zookeeper 单机版

    下面安装 Zookeeper，由于它是 Apache 的一个顶级项目，所以域名是 zookeeper.apache.org ，所有 Apache 的顶级项目的官网都是以项目名 .apache.org 来命名的。 点击 Download 即可下载，这里我们选择的版本是 3.5.10 ，下载之后扔到服务器上。由于 Zookeeper 是基于 Java 语言编写的，所以还需要

    2024年02月03日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包