windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

这篇具有很好参考价值的文章主要介绍了windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、软件安装

1、JDK1.8
链接:https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi
提取码:agoi
2、hadoop-3.1.3版本
链接:https://pan.baidu.com/s/1cRkMc7LHPpza7n2oWqyLGw?pwd=ecid
提取码:ecid
3、winutils-master 3.1.1版本下载(windows下运行hadoop必须要下载这个!这个版本可以适用于hadoop3.1.x)
链接:https://pan.baidu.com/s/1K8i7opaqK4Ut76lU4yBcRQ?pwd=a6hh
提取码:a6hh

如果是hadoop其他版本,点击进入官网下载
*配套的winutils-master其他版本,网盘下载:
链接:https://pan.baidu.com/s/1jJthV7h-ynjk4MH6algIzg?pwd=p4aw
提取码:p4aw
*


java环境变量需要先配置,不过本文不做讲解,不会的自行百度。

二、hadoop环境配置

1、先解压下载好的winutils-master,进入bin目录,将winutils.exe和hadoop.dll复制到hadoop-3.1.3\bin下
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

2、然后将hadoop.dll复制到C:\Windows\System32中 否则 会报 Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

3、配置hadoop环境变量,新建HADOOP_HOME
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

4、添加到path路径,%HADOOP_HOME%\bin;
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

5、打开cmd,输入hadoop version
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
如果出现上面的情况,则修改hadoop-env.cmd中的

JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

PS:因为Program Files中存在空格,若是直接使用会出现错误,可以进行如下处理: 只需要用PROGRA~1 代替Program Files,即改为C:\PROGRA~1\Java\jdk1.8.0_111
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

再次在cmd中输入hadoop version
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
这样就成功了


为什么要在windows上配置hadoop环境呢?因为想跑一个wordcount案例,如果打成jar包放到yarn上面跑,调试比较费时间。

以上可以解决下面这两个错误:
1、HADOOP_HOME and hadoop.home.dir are unset

2、org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/ap

如果还是报错,以下是解决错误的方法:

1.重启idea!是的,我重启后就不报错了
2.D:\hadoop-3.1.3/bin/winutils.exe 和hadoop.dll是不是和你正在使用的hadoop版本匹配

我的问题就是这个原因,我直接把官网上面下载回来的hadoop-3.1.3.tar.gz直接解压,然后随便去网上下载了winutils.exe和hadoop.dll丢进去bin目录(版本是3.0的),一运行就报错了 ,换成相同版本的winutils.exe,再重复以上1、2步骤,复制到bin目录下。

所以一定要和hadoop的版本匹配才行!(用我提供的版本是没有问题的)

3.如果还没有解决,就多参考其他文章,或者留言文章来源地址https://www.toymoban.com/news/detail-483583.html

到了这里,关于windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案

    本文针对centos7.4即以上版本的hadoop环境搭建,因为这部分搭建是个很复杂且很容易出错的内容,所以在结合了多种搭建方案后给出最适宜当前版本的搭建。 本教程适用于CentOS 7.4即以上版本,如果是Ubuntu等其它linux内核版本则不适合。 查看系统版本: 软件 版本 获取方法 Ope

    2024年02月16日
    浏览(44)
  • Hadoop环境搭建及常见问题解决(保姆级教程)

    学习大数据的路上,肯定少不了Hadoop的陪伴。 在学习Hadoop之初,一件\\\"痛苦\\\"的事情莫过于装环境,没有环境,练不了HDFS命令,写不了MapReduce程序,后续的HBase、Hive无从下手。 为了学好Hadoop,于是下决心,一定把环境装好,于是,跟着老师做,跟着网上学,别人都顺理成章、

    2023年04月09日
    浏览(88)
  • 【异常】Win10配置Hadoop环境cmd中输入hadoop -version提示 JAVA_HOME is incorrectly set.

    cmd:输入hadoop -version提示如下的异常 Error: JAVA_HOME is incorrectly set. Please update Please update E:Hadoophadoopetchadoophadoop-env.cmd 如果JAVA_HOME环境变量配置也没问题,则说明是错误提示中的配置文件中的JAVA_HOME配置有问题,该目录下的配置文件中的JAVA_HOME目录是: C:Program FilesJavajdk1.

    2024年02月06日
    浏览(50)
  • 【错误记录】安装 Hadoop 运行环境报错 ( Error: JAVA_HOME is incorrectly set. Please update xxx\hadoop-env.cmd )

    总结 : 报错 : Error: JAVA_HOME is incorrectly set. Please update xxxhadoop-env.cmd JDK 安装在了 C:Program Files 目录下 , 安装目录 Program Files 有空格 , 太坑了 ; 换一个没有空格的 JDK 目录 ; 安装 Hadoop 运行环境 , 完成上述安装步骤后 , 运行 hadoop 命令报错 ; C:Windowssystem32hadoop -version The system ca

    2024年02月08日
    浏览(44)
  • Hadoop课程学习——Hadoop的windows环境安装及问题

    前言 一、使用步骤 1.jdk下载 2.eclipse下载 3.jdk与eclipse环境配置 4.Hadoop使用 二:问题展示 1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错) 2.问题二:出现点击eclipse.exe不能运行 3.问题三:出现‘-Xmx512m’不是内部或外部指令 总结 关于Hadoop环境配置的过程以及出现

    2023年04月08日
    浏览(42)
  • 分布式集群——搭建Hadoop环境以及相关的Hadoop介绍

    分布式集群——jdk配置与zookeeper环境搭建 分布式集群——搭建Hadoop环境以及相关的Hadoop介绍 文章目录 前言 一 hadoop的相关概念 1.1 Hadoop概念 补充:块的存储 1.2 HDFS是什么 1.3 三种节点的功能 I、NameNode节点 II、fsimage与edits文件存放的内容介绍 III、DataNode节点 IV、SecondaryNameNod

    2024年02月10日
    浏览(55)
  • Hadoop运行环境搭建

    0)安装模板虚拟机,IP 地址 192.168.10.100 、主机名称 hadoop100 、内存 4G 、硬盘 50G 1)hadoop100 虚拟机配置要求如下 1.使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情 况

    2024年02月13日
    浏览(55)
  • Hadoop集群环境配置搭建

    Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方:https://hadoop.apache.org/ 首先准备三台Linux服务器,预装CentOS7。三台服务器之间需要网络互通。本地

    2024年02月03日
    浏览(38)
  • Hadoop环境搭建常见错误

    1)防火墙没关闭、或者没有启动YARN 2)主机名称配置错误 3)IP地址配置错误 4)ssh没有配置好 5)root用户和ovo两个用户启动集群不统一 6)配置文件修改不细心 7)不识别主机名称

    2024年02月13日
    浏览(31)
  • hadoop 相关环境搭建

      各软件的相关命令最好到各自安装目录或者bin目录下执行,防止初始化目录的时候位置不对 百度安全验证 环境:jdk8 、win10 、hadoop-3.3.4 jdk8的安装这里不说了。 网站上下载hadoop并解压 我是在官网下的:https://hadoop.apache.org/release/3.3.4.html Index of /apache/hadoop/common 1、打开D:ha

    2024年02月09日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包