Hive | 报错锦集

这篇具有很好参考价值的文章主要介绍了Hive | 报错锦集。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive | 报错锦集

Hive | 报错锦集

一、写在前面✨

大家好!我是初心,希望我们一路走来能坚守初心!🔥

今天跟大家分享的文章是 大数据中的Hive报错锦集分享,以此记录我在搭建大数据平台可视化展示中遇到的部分错误 ,希望能帮助到大家!本篇文章收录于 初心 的 Hive 专栏。

🏠 个人主页:初心%个人主页
🧑 个人简介:大家好,我是初心,和大家共同努力
💕欢迎大家:这里是CSDN,我记录知识的地方,喜欢的话请三连,有问题请私信😘

💕 迎着风,拥抱彩虹!』—— 黄霄雲「你的答案」

二、Hive启动hiveserver2报错🔥

  • 报错内容

java.lang.classnotfoundexception: org.apache.tez.dag.api.tezconfiguration

  • 解决方案

hive-site.xml添加以下配置可以解决。

<property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
</property>

三、HiveServer2启动方式✨

第一种:占用一个Xshell窗口的启动

$HIVE_HOME/bin/hive --service hiveserver2

第二种:也是占用Xshell窗口启动

$HIVE_HOME/bin/hiveserver2

第三种:悬挂启动(推荐,hive.log文件和路径换自己的)

nohup $HIVE_HOME/bin/hiveserver2 >/opt/module/logs/hive_log/hive.log 2>&1 &

启动后会得到一个进程号:

Hive | 报错锦集

悬挂启动关闭HiveServer2的方式。

首先查询进程号:

ps -ef | grep hive

Hive | 报错锦集

杀死进程号:

kill -15 3475(进程号)

细心的朋友会发现,这个进程号就是我们悬挂启动HiveServer2时显示的进程号,所以,你直接 kill 掉那个进程号,不查询也是可以的。查询是在我们启动HiveServer2之后还执行了很多命令情况下使用。

四、Hive执行SQL语句报一大堆日志🍉

  • 问题详情

在hive-3.1.x版本中,使用hive shell时,会发现在查询命令中夹杂大量的日志信息,严重干扰查询结果显示,特别是强迫症患者,不能忍受。

  • 解决方案

在 Hive 安装目录的 conf 目录下创建出 log4j.properties 日志配置文件,添加如下内容。

log4j.rootLogger=WARN, CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

五、Hive使用Load加载数据报错🍭

  • 报错内容

Invalid path ''/data/deal_after_taoao.csv'': No files matching path hdfs://mycluster/data/deal_after_taoao.csv

  • 解决方案

命令敲错了,应该用大写写法。Load加载非csv文件也是同理,只要是报这一类错误。

LOAD DATA INPATH '/data/deal_after_taobao.csv' OVERWRITE INTO TABLE taobao.taobao;

六、Hive执行含Count的SQL语句报错🍉

  • 报错内容

[SIGINT handler] ERROR org.apache.hadoop.hive.ql.exec.tez.TezJobExecHelper

java.lang.ClassNotFoundException: org.apache.tez.dag.api.DAG

  • 解决方案

Hive执行含有Count的SQL语句,属于Map和Reduce任务,需要开启Yarn。在yarn-site.xml和mapred-site.xml文件中配置好yarn并启动即可。

启动Yarn:(ResourceManager结点上)

start-yarn.sh

启动历史服务器:(历史服务器结点上的Hadoop目录下,其实也可以不启动,无妨)

bin/mapred --daemon start historyserver

七、Hive执行SQL语句报/bin/java🍭

  • 报错内容

/bin/java: No such file or directory

  • 解决方案

需要在集群中的每个结点上,创建一个/bin/java 的软连接,实际指向 jdk 真实目录。(下面的/opt/module/HA是我的jdk安装路径,换成自己的即可)

ln -s /opt/module/HA/jdk1.8/bin/java /bin/java

八、总结撒花😊

本次主要跟大家分享了我在使用Hive中遇到的部分报错锦集,以此做个记录😊

这就是今天要分享给大家的全部内容了,我们下期再见!😊

🏠 本文由初心原创,首发于CSDN博客, 博客主页:初心%🏠

🏠 我在CSDN等你哦!😍

Hive | 报错锦集文章来源地址https://www.toymoban.com/news/detail-478851.html

到了这里,关于Hive | 报错锦集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • oracle细节、经验锦集

    【版权声明】未经博主同意,谢绝转载!(请尊重原创,博主保留追究权) https://blog.csdn.net/m0_69908381/article/details/131054454 出自【进步*于辰的博客】 字符串前有一个 \\\' \\\' (空字符),故首字母的索引是 1 ; 使用 in/not in 时,逐条检索。任何类型与 null 比较,都返回 null ,故子

    2024年02月08日
    浏览(25)
  • Unity 性能优化锦集

    Unity作为一款主流的游戏开发引擎,不仅提供了强大的编辑器和开发工具,还可以让开发者轻松地实现高质量的3D游戏。但是,随着游戏规模的不断扩大和玩家需求的增加,游戏的性能问题也变得越来越重要。因此,在使用Unity进行游戏开发时,我们需要注意性能优化方面的一

    2024年02月16日
    浏览(33)
  • C++ 常见错误锦集

    1、LNK1158错误:无法运行“rc.exe” 解决方法: 项目属性-常规-平台工具集里,选择带有XP的平台工具集(Visual Studio 2013 - Windows XP (v120_xp)); 2、fatal error: winapifamily.h: No such file or directory     (错误,找不到winapifamily.h文件) 解决方法: winapifamily.h是在win8中才有的头文件,如

    2024年02月07日
    浏览(26)
  • oracle初级锦集

    【版权声明】未经博主同意,谢绝转载!(请尊重原创,博主保留追究权) https://blog.csdn.net/m0_69908381/article/details/131040299 出自【进步*于辰的博客】 细节、经验; 索引; 参考笔记一,P18.3/4、P19.5。 2.1.1 概述 rownum 是虚拟字段,不真实存储,在返回结果集时生成,“宏观”作

    2024年02月11日
    浏览(21)
  • Qt实现思维导图锦集

    序号 简述 文章导航 1 思维导图树形结构、不重叠且均匀分布、支持折叠和展开 核心树 2 菜单按钮风格、菜单提示风格、侧滑菜单、侧滑功能窗口 UI设计 3 支持JPEG、PNG、XML、JSON、PDF、SVG格式文件 数据导入导出 4 支持撤销回撤功能、显示节点操作流程、点击可跳转历史 撤销回

    2024年02月14日
    浏览(38)
  • hive编译报错整理

    最近在修hive-1.2.0的一个bug,需要修改后重新打包部署到集群,打包的时候报下面的错误,原因很简单,从远程仓库里面已经拉不到这个包了。 去https://mvnrepository.com/检索 org.pentaho:pentaho-aggdesigner-algorithm 提示在该包是在 https://repo.spring.io/plugins-release/ 托管的,实际该包已经从

    2024年02月14日
    浏览(19)
  • 【数据结构练习】链表面试题锦集一

    目录 前言: 1. 删除链表中所有值为key的节点  方法一:正常删除,头结点另外讨论  方法二:虚拟头结点法  方法三:递归 2.反转链表  方法一:双指针迭代   方法二:递归法 3.链表的中间结点   方法:快慢指针法 4. 链表中倒数第k个结点  方法:快慢指针方法 5.合并两个

    2024年02月11日
    浏览(27)
  • hive磁盘空间相关问题报错

    报错:Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. java.net.ConnectException: Your endpoint configuration is wrong; For more details see: http://wiki.apache.org/hadoop/UnsetHostnameOrPort (state=08S01,code=1) 分析:本报错在进行hive计算过程中出现的,原因

    2024年02月10日
    浏览(28)
  • 计算机复试专业课面试问题锦集

    本文说明:本文以简答题为主,大家可以对照复习,内容均来自网络,部分自己进行了详解,请大家自行找对应章节进行学习,并指出文章内容错误,谢谢! 1、数组和链表的区别。 从逻辑结构上来看 ,数组必须实现定于固定的长度,不能适应数据动态增减的情况,即数组的

    2024年03月25日
    浏览(42)
  • Hive Code2报错排查

    大多数可能的code2报错一般是内存不够,所以加下面这个配置可以有效解决这个问题 set hive.auto.convert.join = false; #取消小表加载至内存中 但这个不一定是因为内存不够,其实很多错误都是报这种官方错误的,所以一定要去yarn上看日志。 很多人看日志也找不到问题,因为并没有

    2024年02月14日
    浏览(12)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包