Windows11编译Hadoop3.3.6源码

这篇具有很好参考价值的文章主要介绍了Windows11编译Hadoop3.3.6源码。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

由于https://github.com/kontext-tech/winutils还未发布3.3.6版本,因此尝试源码编译。

本文 hadoop-3.3.6 编译后 winutils 等文件获取 GitHub 地址

环境和安装包准备,见2

  • Git-2.43.0-64-bit.exe
  • jdk-8u381-windows-x64.exe
  • node-v21.2.0-x64.msi
  • apache-ant-1.10.14-bin.zip
  • apache-maven-3.9.5-bin.zip
  • protoc-25.1-win64.zip
  • cmake-3.28.0-rc5-windows-x86_64.zip
  • GetGnuWin32-0.6.3.exet
  • zlib.tar.gz
  • Visual Studio 2010 Professional
  • hadoop-3.3.6-src.tar.gz

zlib编译

方法一:
  • VS2010打开zlib路径\contrib\vstudio\vc10\zlibvc.sln

zlib的vs sln解决方案文件包含6个工程。其中:
(1). zlibvc生成动态链接库zlibwapi.dll和对应的导入库zlibwapi.lib
(2). zlibstat生成静态链接库zlibstat.lib
(3). testzlibdll测试生成的动态链接库zlibwapi.dll
(4). testzlib测试生成的静态链接库zlibstat.lib

  • debug模式下编译zlibvczlibstat,在zlib路径\contrib\vstudio\vc10\x64\ZlibStatDebugZlibDllDebug文件夹中获取编译生成的文件
    Windows11编译Hadoop3.3.6源码,僧旅,hadoop

  • 将这三个文件存入单独的文件夹中,将路径加入系统环境变量path

方法二:

VS命令行工具进入到zlib根目录,执行 nmake -f win32/Makefile.msc ,在根目录下生成:zlib.lib(静态库) zdll.lib(动态库的导入库) zlib1.dll(动态库)
Windows11编译Hadoop3.3.6源码,僧旅,hadoop

配置文件更改

1. maven阿里云镜像

修改apache-maven-3.9.5路径\conf\settings.xml文件镜像mirrors节点,使用阿里云仓库,添加如下代码。

    <mirror>
      <id>aliyunmaven</id>
      <mirrorOf>*</mirrorOf>
      <name>阿里云公共仓库</name>
      <url>https://maven.aliyun.com/repository/public</url>
    </mirror>

不更改会很慢,亲测!!!

2. Node版本
  • 编辑hadoop-3.3.6-src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-applications\hadoop-yarn-applications-catalog\hadoop-yarn-applications-catalog-webapppom.xml文件
  • findnodeVersion,将<nodeVersion>${nodejs.version}</nodeVersion>改为自己的node版本<nodeVersion>v21.2.0</nodeVersion>
  • 如果不更改会出现错误如下。
[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.11.2:yarn (yarn install) on project 
hadoop-yarn-applications-catalog-webapp: Failed to run task: 'yarn ' failed. 
org.apache.commons.exec.
ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]
3. 越过Javadoc检查
  1. pom.xml中禁用严格检查<additionalparam>-Xdoclint:none</additionalparam>
<plugins>
  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-javadoc-plugin</artifactId>
    <configuration>
      <additionalparam>-Xdoclint:none</additionalparam>
    </configuration>
  </plugin>
</plugins>

特别是hadoop-3.3.6-src\hadoop-common-project\hadoop-annotations\pom.xml需要更改,否则会出现如下错误。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:3.0.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while generating Javadoc:
  1. mvn命令构建时跳过 Javadoc
    mvn 其他参数 -Dmaven.javadoc.skip=true verify

编译Hadoop

  • VS命令行工具cd Hadoop文件夹

  • 执行命令mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true

  • 编译成功
    Windows11编译Hadoop3.3.6源码,僧旅,hadoop

  • 编译后文件目录为hadoop-3.3.6-src\hadoop-dist\target
    Windows11编译Hadoop3.3.6源码,僧旅,hadoop

Error,其他报错见3

  1. RelWithDebInfo does not exist
hadoop-hdfs-project\hadoop-hdfs-native-client\target\native\bin\RelWithDebInfo does not exist

错误是这个目录不存在,则在hadoop-hdfs-project\hadoop-hdfs-native-client\target\native下手动创建这个目录,并根据提示在重新执行命令时添加参数-rf :hadoop-hdfs-native-client,如下。
mvn package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true -rf :hadoop-hdfs-native-client

  1. hadoop-hdfs-native-client
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.x:run (make) on project hadoop-hdfs-native-client: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="hadoop路径\hadoop-hdfs-project\hadoop-hdfs-native-client\target/native" executable="cmake">

修改hadoop-hdfs-project\hadoop-hdfs-native-client\pom.xml文件failonerror的值true为false
Windows11编译Hadoop3.3.6源码,僧旅,hadoop
3. convert-ms-winutils

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.3.1:exec (convert-ms-winutils) on project hadoop-common: Command execution failed.: Process exited with an error: 1 (Exit value: 1) -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.3.1:exec (convert-ms-winutils) on project hadoop-common: Command execution failed.`
  • 添加环境变量 C:\Windows\Microsoft.NET\Framework64\v4.0.30319
  • 或修改冲突文件名,确定引用 C:\Windows\Microsoft.NET\Framework64\v4.0.30319文件
    Windows11编译Hadoop3.3.6源码,僧旅,hadoop

相关文章:文章来源地址https://www.toymoban.com/news/detail-755900.html

  1. windows上编译hadoop
  2. Windows10 Hadoop3.3.0源码编译
  3. Hadoop 3.2.1 win10 64位系统 vs2015 编译
  4. Hadoop源码编译打包
  5. hadoop源码编译
  6. Windows 7 64bit和Visual Studio 2010下安装及使用Zlib 1.2.5
  7. VS2010 编译 Zlib库-1.2.11(zip解压库)
  8. Windows中zlib的安装与配置
  9. Unable to build Maven project due to Javadoc error?
  10. maven项目install时候一直报错,检查Maven-javadoc-plugin声明错误(Java 8 配置Maven-javadoc-plugin)或者警告: @throws没有说明
  11. Windows7-64编译hadoop-3.2.0
  12. Hadoop on Windows Building/ Installation Error

到了这里,关于Windows11编译Hadoop3.3.6源码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1

    一、准备工作 基础环境:centos7 (1)官方源码中编译之前对基础环境及版本的要求(重点是红色部分) Requirements: * Unix System * JDK 1.8 * Maven 3.3 or later * ProtocolBuffer 2.5.0 * CMake 3.1 or newer (if compiling native code) * Zlib devel (if compiling native code) * openssl devel (if compiling native hadoop-pipes and

    2024年02月03日
    浏览(41)
  • Windows11安装hadoop-3.3.0

    一、安装Java 1. 下载Java 进入下载页面Java Archive Downloads - Java SE 8 Java SE Development Kit 8u191中 选择适合操作系统的下载文件 在安装好的路径下,将Java目录复制到C:根目录下,形成C:Javajdk1.8.0_191目录结构 2. 设置环境变量 注意:要保证jdk所在的路径中不能包含空格,比如Program F

    2024年02月12日
    浏览(68)
  • hadoop3相关配置

    一、hadoop部署 master slave1 slave2 namenode 是 secondarynamenode 是 datanode 是 是 是 resourcemanager 是 nodemanager 是 是 是 jobhistory 是 二、相关设置 1、主机名与ip映射:hosts文件 验证:ping master,ping slave1,ping slave2 hosts文件要传送至slave1,slave2。思考原因?(让slave1和slave2可以通过主机名ping通对

    2024年02月22日
    浏览(47)
  • hadoop2的集群数据将副本存储在hadoop3

    在 Hadoop 集群中,HDFS 副本是分布式存储的,会存储在不同的节点上。因此,如果您的 HDFS 所在路径是在 Hadoop2 集群中,您可以在 Hadoop3 集群上添加新的节点,并向 Hadoop3 集群中添加这些新节点上的数据副本。 以下是一些常见的方法: 1.添加新节点 首先,在 Hadoop3 集群中添加

    2024年02月12日
    浏览(46)
  • Hadoop3.X集群安装

    服务器 运行角色 hadoop01 namenode、datanode、resourcemanager、nodemanager hadoop02         secondarynamenode、datanode、nodemanager hadoop03 datanode、nodemanager 安装包、源码包下载 https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/ 准备三台主机 hosts映射 JDK1.8安装 JDK1.8 配置ssh免密登录 ssh免密登录 创建

    2024年01月20日
    浏览(47)
  • Hadoop3的高可用搭建

    1. 准备工作 前期准备工作包括了  CenOS 7虚拟化安装与配置, Java虚拟机的安装,  Hadoop相关部署包的下载, Hadoop集群所需基础环境的配置。 第一点CenOS 7虚拟化安装与配置和第二点Java虚拟机的安装: 需要我们参考第一章:大数据技术训练舱——从零开始安装、配置CentOS 7 第

    2024年02月10日
    浏览(48)
  • Hadoop3.x基础(1)

    来源:B站尚硅谷 大数据(Big Data):指 无法在一定时间范围内 用常规软件工具进行捕捉、管理和处理的数据集合,是 需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 。 大数据主要解决 海量数据的采集、存储和分析

    2024年02月20日
    浏览(37)
  • MacOS本地安装Hadoop3

    金翅大鹏盖世英,展翅金鹏盖世雄。 穿云燕子锡今鸽,踏雪无痕花云平。 ---------------- 本文密钥:338 ----------------- 本文描述了在macbook pro的macos上安装hadoop3的过程,也可以作为在任何类linux平台上安装hadoop3借鉴。 1、准备工作 确保已安装jdk,本地已安装jdk1.8.0_221。 export JAV

    2024年02月15日
    浏览(46)
  • hadoop win11安装hadoop环境 winutils.exe获取,windows安装大数据运行环境 winutils文件获取,winutils文件 hadoop(十四)

    注:有些win环境的大数据dll文件,winutils.exe需要积分下载,我没有积分,提供一份github链接 每个版本基本都有,挺全。 1. github地址: GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows 2. 从上述链接,下载工程,复制出来自己的版本,我hadoop安装的3.3.4,

    2024年02月04日
    浏览(61)
  • Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目录 前言: 一、VMware Workstation 二、Ubuntu系统安装 新建虚拟机 三、Ubuntu系统的配置 四、更新apt 五、安装SSH、配置SSH无密码登陆  六、安装Java环境 七、安装 Hadoop3.1.3 八、Hadoop单机配置(非分布式) 九、Hadoop伪分布式配置 前言:         本篇教程由作者本人进行修改,原教

    2024年02月03日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包