elasticsearch-hadoop.jar 6.8版本编译异常

这篇具有很好参考价值的文章主要介绍了elasticsearch-hadoop.jar 6.8版本编译异常。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

## 背景

重新编译 elasticsearch-hadoop 包;

GitHub - elastic/elasticsearch-hadoop at 6.8

编译 7.17 版本时很正常,注意设置下环境变量就好,JAVA8_HOME/....

编译 6.8 版本时(要求jdk8 / jdk9),出现异常

1. Could not resolve org.springframework.build.gradle:propdeps-plugin:0.0.7.

2. Could not resolve cascading:cascading-local:2.6.3.

3. Could not resolve org.elasticsearch.gradle:build-tools:6.8.24-SNAPSHOT

4. Could not resolve cascading:cascading-hadoop:2.6.3.

## 分析(尝试逐个解决)

1. gradle 仓库修改

    // ali库 解决 Could not resolve org.springframework.build.gradle:propdeps-plugin:0.0.7.
    maven{ url 'https://maven.aliyun.com/repository/central'}
    maven{ url 'https://maven.aliyun.com/repository/public' }
    maven{ url 'https://maven.aliyun.com/repository/google'}
    maven{ url 'https://maven.aliyun.com/repository/gradle-plugin'}
    maven{ url 'https://maven.aliyun.com/repository/spring'}
    maven{ url 'https://maven.aliyun.com/repository/spring-plugin'}
    maven{ url 'https://maven.aliyun.com/mvn/guide'}
    maven{ url 'https://maven.aliyun.com/repository/apache-snapshots'}

2. esh-version.properties 修改

6.8.24-SNAPSHOT -> 6.8.23

elasticsearch-hadoop.jar 6.8版本编译异常,elasticsearch,hadoop

3. cascading-local 这个包始终无法获取

## 最终解决

本质原因有2个,一个是 repo.spring.io 改造成需要验证了,不验证会有401;另一个是http://conjars.org/repo 已经失效了,需要替换;

所以前面修改的全部回滚,完整解决方案如下:

1. 处理 propdeps-plugin 包,增加阿里云的库

    // ali库 propdeps-plugin
    maven{ url 'https://maven.aliyun.com/repository/central'}
    maven{ url 'https://maven.aliyun.com/repository/public' }
    maven{ url 'https://maven.aliyun.com/repository/google'}
    maven{ url 'https://maven.aliyun.com/repository/gradle-plugin'}
    maven{ url 'https://maven.aliyun.com/repository/spring'}
    maven{ url 'https://maven.aliyun.com/repository/spring-plugin'}
    maven{ url 'https://maven.aliyun.com/mvn/guide'}
    maven{ url 'https://maven.aliyun.com/repository/apache-snapshots'}

2. 修改 buildSrc/src/main/groovy/org/elasticsearch/hadoop/gradle/BuildPlugin.groovy

全部的 http://conjars.org/repo 或者 https://conjars.org/repo

替换成 https://conjars.wensel.net/repo

## 参考:

1. Notice of Permissions Changes to repo.spring.io, January 2023

2. https://segmentfault.com/q/1010000043853512

3. spring源码编译问题解决1,Received status code 401 from server问题,not found问题,更换阿里云镜像_received status code 401 from server:-CSDN博客

 4. https://github.com/elastic/elasticsearch-hadoop/issues/984

 5. How to build a plugin for a not yet released version? - Elasticsearch - Discuss the Elastic Stack

6. conjars.org: Connection timed out_http://conjars.org/repo 地址失效-CSDN博客文章来源地址https://www.toymoban.com/news/detail-777098.html

到了这里,关于elasticsearch-hadoop.jar 6.8版本编译异常的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop 运行jar包

    我们在eclipse 打包好jar包后需要上传到udantu系统。 我们用Xshell 工具上传,步骤如下图所示: 这时候jar包已经上传成功了,在udantu查看jar包的位置 现在就可以运行jar包了,命令如下: /home/hadoop/salarycount.jar 是jar包的路径。以自己的实际路径为主 cn.itcast.digdata.salarycount.SalaryTo

    2024年02月11日
    浏览(34)
  • hadoop运行jar遇到的一个报错

    报错信息: 2023-12-19 14:28:25,893 INFO mapreduce.Job: Job job_1702967272525_0001 failed with state FAILED due to: Application application_1702967272525_0001 failed 2 times due to AM Container for appattempt_1702967272525_0001_000002 exited with  exitCode: 127 Failing this attempt.Diagnostics: [2023-12-19 14:28:25.741]Exception from container-launch. C

    2024年02月03日
    浏览(27)
  • Hadoop之——WordCount案例与执行本地jar包

    目录 一、WordCount代码 (一)WordCount简介 1.wordcount.txt (二)WordCount的java代码 1.WordCountMapper 2.WordCountReduce 3.WordCountDriver (三)IDEA运行结果 (四)Hadoop运行wordcount 1.在HDFS上新建一个文件目录 2.新建一个文件,并上传至该目录下 3.执行wordcount命令 4.查看运行结果 5.第二次提交报错原因 6.进

    2024年02月08日
    浏览(43)
  • Jar包反编译,修改代码后,重新打jar包

    最近遇到一个问题,需要把现有的jar包反编译成java代码,然后运行,测试,修改后再次打jar包。并不复杂的项目,只是一个很简单的main方法,并不是spring项目。可能是之前的开发走了,然后代码丢失了,只剩下客户那边有一个用的jar包。 jar包:xxx-0.0.1-SNAPSHOT-jar-with-dependen

    2023年04月08日
    浏览(59)
  • Idea 反编译jar包

    实际项目中,有时候会需要更改jar包源码来达到业务需求,本文章将介绍一下如何通过Idea来进行jar反编译 decompiler插件文件夹路径为:idea安装路径/plugins/java-decompiler/lib 新建个文件夹(用于存放反编译后的文件) 将要反编译的jar放到decompiler插件文件夹 在decompiler插件文件夹执

    2024年02月13日
    浏览(38)
  • idea工具反编译jar包

    命令格式 java -cp java-decompiler.jar org.jetbrains.java.decompiler.main.decompiler.ConsoleDecompiler -dgs=true 反编译jar包 解压路径 注意反编译后依然是个jar包,用解压软件可以看到class文件已经变成java文件,解压即可 示例

    2024年01月23日
    浏览(39)
  • linux系统部署jar脚本编译

    一 shell脚本

    2024年02月07日
    浏览(34)
  • Android jar包编译及集成

    Jar包编译和集成有两种编译方式,mk和bp,Android 7版本之后逐渐采用bp格式编译,目前14版本还是兼容mk方式编译,具体写法入下: Android jar包编译 mk: 如果需要打包到systemimg,则需要将此jar包添加到PRODUCT_PACKAGES,此编译指令将jar包添加进了system分区,但是没有预加载,PRODUC

    2024年01月20日
    浏览(40)
  • mvn build jar依赖和源码本身分开。减轻编译后的jar大小

    问题场景:平时在springboot项目中,打jar包都是默认把开发的代码和依赖jar包都打到一个jar包里,导致每次打包费时而且jar包还很大,升级一下都要把一个很大的包拷来拷去。如果是修改问题需要频繁替换jar包,那简直要疯 解决方案:把代码包打成我们需要的jar包,把依赖的

    2024年02月14日
    浏览(50)
  • SpringBoot 项目 Jar 包加密,防止反编译

    最近项目要求部署到其他公司的服务器上,但是又不想将源码泄露出去。要求对正式环境的启动包进行安全性处理,防止客户直接通过反编译工具将代码反编译出来。 第一种方案使用代码混淆 采用proguard-maven-plugin插件 在单模块中此方案还算简单,但是现在项目一般都是多模

    2024年02月04日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包