hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1

这篇具有很好参考价值的文章主要介绍了hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、准备工作

基础环境:centos7

(1)官方源码中编译之前对基础环境及版本的要求(重点是红色部分)

Requirements:

* Unix System
* JDK 1.8
* Maven 3.3 or later
* ProtocolBuffer 2.5.0
* CMake 3.1 or newer (if compiling native code)
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)

* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
* python (for releasedocs)
* bats (for shell code testing)
* Node.js / bower / Ember-cli (for YARN UI v2 building)

(2)安装hadoop编译所需的环境依赖

1、yum install gcc gcc-c++

2、yum install autoconf automake libtool curl

3、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel

4、yum install bzip2 bzip2-devel lzo lzo-devel lzop libXtst

5、手动安装Cmake
#yum卸载已安装cmake 版本低
yum erase cmake

#解压
tar -zxvf cmake-3.14.5.tar.gz -C /usr/local

#编译安装
cd /usr/local/cmake-3.14.5

./configure

make && make install

#验证
cmake -version

6、手动安装snappy-1.1.3

#卸载已经安装的
cd /usr/local/lib

rm -rf libsnappy*

#上传解压
tar -zxvf snappy-1.1.3.tar.gz -C /usr/local 

#编译安装
cd /usr/local/snappy-1.1.3
./configure
make && make install

7、手动安装protobuf
#上传解压
tar -zxvf protobuf-2.5.0.tar.gz -C /usr/local

#编译安装
cd /usr/local/protobuf-2.5.0
./configure
make && make install

#验证
protoc -version

8、安装配置jdk1.8
#解压安装包
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local
mv jdk1.8.0_191/ jdk8

#配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

source /etc/profile

#验证是否安装成功
java -version


9、安装maven3.5
#解压安装包
tar -zxvf apache-maven-3.5.4-bin.tar.gz -C /usr/local

#配置环境变量
vim /etc/profile

#maven setting
export MAVEN_HOME=/usr/local/apache-maven-3.5.4
export PATH=$PATH:$MAVEN_HOME/bin

#验证
mvn -version

 二、编译hadoop3.x的源码

#1、上传解压
tar -zxvf hadoop-3.1.4-src.tar.gz 

#编译
cd ./hadoop-3.1.4-src

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

或者

mvn clean package -Pdist,nativeN -DskipTests -Dtar -X -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

#编译成功后的hadoop压缩文件所在目录
cd ./hadoop-3.1.4-src/hadoop-dist/target

 三、编译时报cmake问题:CMake failed with error code 1

hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1

 

解决思路:

(1)可能cmake 的版本过低导致,上述有提到,hadoop3.x依赖的cmake版本必须3.1或更高。一般手动安装应该不会有这个问题,yum安装可能会出现。

(2)在安装hadoop编译所需的依赖环境时有遗漏,我的就是因为没有执行【环境依赖】中的2、3、4步骤;直接到手动安装camke那一步了,导致一直报这个错

(3)也有可能是openssl版本问题文章来源地址https://www.toymoban.com/news/detail-436948.html

到了这里,关于hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Android Studio编译JNI项目,Cmake出错:Detecting C compiler ABI info - failed

    cmake的定义是什么 ?-----⾼级编译配置⼯具cmake就是将多个cpp、hpp文件组合构建为一个大工程的语言。他能够输出各种各样的makefile或者project文件,所有操作都是通过编译CMakeLists.txt来完成。 会在编译时跳过编译器检查,就不会再出现异常了。 弱小不是逃避的借口,应是竭尽

    2024年02月09日
    浏览(72)
  • 宇树机器人Unitree-go1学习记录-CMake编译与Gazebo仿真(解决虚拟机运行gazebo帧率低问题)

    前言:环境的安装省略,一般缺什么包就sudo apt-get install xxx安装就行 (推荐使用鱼香ROS一键安装,会帮你更换源) 创建ROS工作空间:mkdir xxx_ws(一般以ws为后缀)(不能有中文路径,否则编译不通过) 切换到工作空间文件夹:执行以下命令,将终端的当前目录切换到工作空间的

    2024年01月23日
    浏览(66)
  • opencv4.7.0 win10 源码编译 vs2019 cmake

    步骤: ① 编译opencv源码;注意几个下载内容;根据cmakedownloadlog.txt中的说明 ② 生成opencv.sln,先使用ALL_BUILD生成 ③ 然后对install工程进行生成 ④ 使用:离线使用,opencv文件夹 install的include lib bin 等复制到当前工程下的文件夹;然后配置属性     配置属性时注意一下路径,工

    2024年02月04日
    浏览(66)
  • [centos]centos7源码编译cmake报错Could NOT find OpenSSL

    测试环境: centos7.9 cmake==3.25.0 ./bootstrap以后报错如下: Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the system variable OPENSSL_ROOT_DIR (missing: OPENSSL_CRYPTO_LIBRARY OPENSSL_INCLUDE_DIR) CMake Error at Utilities/cmcurl/CMakeLists.txt:485 (message):   Could not find OpenSSL.  Install an OpenSSL development pa

    2024年02月02日
    浏览(54)
  • (不用手动下文件)opencv用CMake编译下载失败解决

    报错信息: 解决思路: 更改cmake文件,使用GitHub Proxy 代理加速 (ghproxy.com)对网址进行转发。、 解决步骤: ① 打开opencv-4.7.0cmakeOpenCVDownload.cmake,在157行下方增加两行: (opencv-4.7.0为 源码文件夹 ,不同版本的名称会不一样,如opencv-4.6.0等等) ② 修改完如下图所示(修改完

    2024年02月03日
    浏览(36)
  • 解决Cmake编译 OPENCV_DNN_CUDA 报错: CMake Error at modules/dnn/CMakeLists.txt:39.

    首先,在camke编译过程中,不仅仅需要看报错的error部分,往上滑动会看见一行信息: 如果你没有装Cudnn,那么装上Cudnn再试试。注意,安装版本最低是7.5! 如果你装了7.5及以上版本还是会报错和有上面这行信息,请注意,这可能是在Cudnn 8版本以后的问题! 原因是cudnn 8的版本

    2024年02月16日
    浏览(46)
  • cmake与交叉编译(x86 to arm)过程和问题全记录

    公司维护一批c++动态库,由于生产需要,每次更新都要在windows、linux_x86、kylin_arm等多个环境中编译一遍,操作比较麻烦,所以想通过交叉编译的方式在一台机器上边编译多个环境的动态库,减少工作量。考虑到工作难度以及本人水平,决定从官方发布的成品交叉编译工具链中

    2024年04月28日
    浏览(44)
  • 【Opencv】OpenCV使用CMake和MinGW的编译安装出错解决

      根据贴吧老哥的解答,发现是mingw版本有问题导致的错误,可以通过这个链接https://sourceforge.net/projects/mingw-w64/files/下载正确的版本来解决报错:   下载红框部分的文件解压即可 https://tieba.baidu.com/p/5957695534?qq-pf-to=pcqq.group

    2024年02月03日
    浏览(52)
  • Windows CMake编译错误:No CUDA toolset found解决方法

    出现这个问题一般是因为安装CUDA时没有安装对应的Visual Studio Integration缺失,如下图所示,对应的选项没有勾选。 那重新安装CUDA,记得在“自定义”中勾选上面选项就可以了。 但也有的机器,一旦在安装CUDA时勾选了这个选项便无法安装。 那么如何解决这个问题呢? 首先将

    2024年02月13日
    浏览(41)
  • CMAKE编译 opencv、opencv_contrib出现ADE无法下载解决方案

    问题: CMake Error at xxxx/DownlodeADE.cmake:23(add_library): 解决方案:你的opencv的安装路径下,(我的路径就是opencv4.5.4/modules/gapi/cmke/ )找到如下图片,打开DownloadADE.cmake文件 文件中有github网址,需要去文件中提供的网址下载文件,我的opencv版本是4.5.4,有需要可以滴滴。 第一行是你

    2024年02月22日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包