hive编译报错整理

这篇具有很好参考价值的文章主要介绍了hive编译报错整理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

最近在修hive-1.2.0的一个bug,需要修改后重新打包部署到集群,打包的时候报下面的错误,原因很简单,从远程仓库里面已经拉不到这个包了。

org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde was not found in http://www.datanucleus.org/downloads/maven2 during a previous attempt. This failure was cached in the local repository and resolution is not reattempted until the update interval of datanucleus has elapsed or updates are forced

原因分析

去https://mvnrepository.com/检索org.pentaho:pentaho-aggdesigner-algorithm提示在该包是在https://repo.spring.io/plugins-release/托管的,实际该包已经从https://repo.spring.io/plugins-release/移除。

hive编译报错整理,hive,hadoop,数据仓库
hive编译报错整理,hive,hadoop,数据仓库

解决方法

方法一

实际还没解决!!!,本地仓库有了还是会去远端仓库拉,奇怪!
简单暴力,也没有什么花里胡哨的东西,使用最直接的方式解决!
下载需要的jar包直接打到本地仓库

  1. 需要的jar包自行在网上把包下载下来,推荐 > https://mvnrepository.com/
  2. 编写maven install 命令
mvn install:install-file -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar -Dfile=D:\pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
  1. 执行maven install命令,在本地仓库部署依赖的包
    hive编译报错整理,hive,hadoop,数据仓库
  2. 在项目中重新编译

方法二

用该方法解决!!!
国内阿里的依赖包托管仓库(https://developer.aliyun.com/mvn/search)包比较全,好多已经从官方删除的依赖包这里都能够找得到,阿里整合的各家的库也都是独立分库的,找需要包的时候需要注意我们需要的包在哪个对应的仓库下。
hive编译报错整理,hive,hadoop,数据仓库
比如我们需要的org.pentaho:pentaho-aggdesigner-algorithmspringspring-plugin2个仓库下都有,我们只需要在本地maven配置setting.xml中添加2个仓库镜像地址中的一个就可以了,我添加的是spring的,如下

  	<mirror>
	  <id>aliyunmaven-spring</id>
	  <mirrorOf>*</mirrorOf>
	  <name>阿里云spring仓库</name>
	  <url>https://maven.aliyun.com/repository/spring</url>
	</mirror>

hive编译有很多依赖包不在spring的仓库内的,我们首先依赖库放第一位的是中央库(center),然后才是spring的仓库。最终的maven依赖配置如下:

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
  <localRepository>D:\repo</localRepository>

  <pluginGroups>
  </pluginGroups>
  
  <proxies>
  </proxies>

  <servers>
  </servers>

  <mirrors>
  
    <mirror>
	  <id>aliyunmaven-central</id>
	  <mirrorOf>central</mirrorOf>
	  <name>阿里云central仓库</name>
	  <url>https://maven.aliyun.com/repository/central</url>
	</mirror>
  
  	<mirror>
	  <id>aliyunmaven-spring</id>
	  <mirrorOf>*</mirrorOf>
	  <name>阿里云spring仓库</name>
	  <url>https://maven.aliyun.com/repository/spring</url>
	</mirror>

	<mirror>
	  <id>aliyunmaven</id>
	  <mirrorOf>*</mirrorOf>
	  <name>阿里云公共仓库</name>
	  <url>https://maven.aliyun.com/repository/public</url>
	</mirror>

  </mirrors>

  <profiles>
  </profiles>

</settings>

配置好后,执行hive编译打包命令即可。

mvn clean package -DskipTests -Phadoop-2 -Pdist

hive编译报错整理,hive,hadoop,数据仓库

参考文档

https://www.cnblogs.com/youchi/p/13600153.html文章来源地址https://www.toymoban.com/news/detail-626137.html

到了这里,关于hive编译报错整理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错

    这个错误代码表明 Hive 作业由于某种原因失败。    1.资源问题: 这个错误可能发生在集群上存在资源约束的情况下,例如内存或 CPU 资源不足以完成 Hive 作业。    2.数据问题: 它可能与数据本身相关。例如,数据可能损坏,或者数据格式或模式存在问题,Hive 无法处理。

    2024年02月05日
    浏览(43)
  • hive插入数据后报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    hive 插入数据的时候,不能直接运行,报错 错误原因: namenode内存空间不够,JVM剩余内存空间不够新job运行所致 错误提示: Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/ Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668614_0006 Hadoop

    2023年04月15日
    浏览(37)
  • Hive报错org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

    报错Error while compiling statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 执行Hive两个表JOIN时出现如上错误 报错原因: 执行的join是大表和小表进性join,而Hive默认开启了MapJoin,即:hive.auto.convert.join=true; 但集群机器内存不够,导致出错。 Map Join

    2024年02月12日
    浏览(63)
  • hive 报错return code 40000 from org.apache.hadoop.hive.ql.exec.MoveTask解决思路

    参考学习 https://github.com/apache/hive/blob/2b57dd27ad61e552f93817ac69313066af6562d9/ql/src/java/org/apache/hadoop/hive/ql/ErrorMsg.java#L47 为啥学习error code 开发过程中遇到以下错误,大家觉得应该怎么办?从哪方面入手呢? 1.百度? 2.源码查看报错地方 3.忽略(这个错是偶发的) 但是这个错是hive的错,

    2024年02月03日
    浏览(66)
  • Hive 中执行 SQL语句 报错 :FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.

    在命令输入 hive 启动后: 解决方案: **错误原因:**服务端未开启服务,在hive服务端使用命令:hive --service metastore 然后再启动hive , 就可以正常使用sql语句了。 **其他原因:**有的是mysql没有启动,下面有完整的hive 启动流程 启动hive 流程(很多问题往往是少了步骤导致的)

    2024年02月15日
    浏览(53)
  • HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException

    如果在运行Hive时使用Spark引擎,但是却报了以下错误: Failed to execute spark task, with exception \\\'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session xxx)\\\' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark se

    2024年02月11日
    浏览(34)
  • hive报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

    使用hive创建表的时候报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From node01/192.168.126.100 to node01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/ha

    2024年02月09日
    浏览(49)
  • hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

    今天向分区表插入数据 insert into table--------的时候 执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask 重启了电脑也没用, 修改了yarn-site.xml和mapred-site.xml增加yarn和mapreduce可用内存都没用 然后同学让我加了一句话 set set hive.stats.column.autogather=false  

    2024年02月08日
    浏览(45)
  • 大数据-hive基本语法整理

    一、hive建表语句 语法解析: partitioned by (hdfs_date_dt STRING) –使用字符串类型字段hdfs_date_dt作为分区键 row format serde ‘org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe’ with serdeproperties (“field.delim” = “|@|” ) –指定行格式和序列化/反序列化方式,设置字段分隔符为\\\"|@|\\\" stored as t

    2024年01月25日
    浏览(37)
  • 二百零九、Hive——with嵌套语句报错:hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

    在Hive的with嵌套语句时,HQL报错Line 2:5 Ambiguous table alias \\\'t2\\\' org.apache.hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias \\\'t2\\\' 看报错提示,Ambiguous table alias \\\'t2\\\',似乎是with嵌套子语句命名t2报错,但是我试了很多其他命名,都报类似的错误,如果大家知道原因的话还望告知,谢

    2024年01月20日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包