windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

这篇具有很好参考价值的文章主要介绍了windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、软件安装

1、JDK1.8
链接:https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi
提取码:agoi
2、hadoop-3.1.3版本
链接:https://pan.baidu.com/s/1cRkMc7LHPpza7n2oWqyLGw?pwd=ecid
提取码:ecid
3、winutils-master 3.1.1版本下载(windows下运行hadoop必须要下载这个!这个版本可以适用于hadoop3.1.x)
链接:https://pan.baidu.com/s/1K8i7opaqK4Ut76lU4yBcRQ?pwd=a6hh
提取码:a6hh

如果是hadoop其他版本,点击进入官网下载
*配套的winutils-master其他版本,网盘下载:
链接:https://pan.baidu.com/s/1jJthV7h-ynjk4MH6algIzg?pwd=p4aw
提取码:p4aw
*


java环境变量需要先配置,不过本文不做讲解,不会的自行百度。

二、hadoop环境配置

1、先解压下载好的winutils-master,进入bin目录,将winutils.exe和hadoop.dll复制到hadoop-3.1.3\bin下
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

2、然后将hadoop.dll复制到C:\Windows\System32中 否则 会报 Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

3、配置hadoop环境变量,新建HADOOP_HOME
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

4、添加到path路径,%HADOOP_HOME%\bin;
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

5、打开cmd,输入hadoop version
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
如果出现上面的情况,则修改hadoop-env.cmd中的

JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

PS:因为Program Files中存在空格,若是直接使用会出现错误,可以进行如下处理: 只需要用PROGRA~1 代替Program Files,即改为C:\PROGRA~1\Java\jdk1.8.0_111
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)

再次在cmd中输入hadoop version
windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)
这样就成功了


为什么要在windows上配置hadoop环境呢?因为想跑一个wordcount案例,如果打成jar包放到yarn上面跑,调试比较费时间。

以上可以解决下面这两个错误:
1、HADOOP_HOME and hadoop.home.dir are unset

2、org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/ap

如果还是报错,以下是解决错误的方法:

1.重启idea!是的,我重启后就不报错了
2.D:\hadoop-3.1.3/bin/winutils.exe 和hadoop.dll是不是和你正在使用的hadoop版本匹配

我的问题就是这个原因,我直接把官网上面下载回来的hadoop-3.1.3.tar.gz直接解压,然后随便去网上下载了winutils.exe和hadoop.dll丢进去bin目录(版本是3.0的),一运行就报错了 ,换成相同版本的winutils.exe,再重复以上1、2步骤,复制到bin目录下。

所以一定要和hadoop的版本匹配才行!(用我提供的版本是没有问题的)

3.如果还没有解决,就多参考其他文章,或者留言文章来源地址https://www.toymoban.com/news/detail-483583.html

到了这里,关于windows搭建hadoop环境(解决HADOOP_HOME and hadoop.home.dir are unset)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案

    本文针对centos7.4即以上版本的hadoop环境搭建,因为这部分搭建是个很复杂且很容易出错的内容,所以在结合了多种搭建方案后给出最适宜当前版本的搭建。 本教程适用于CentOS 7.4即以上版本,如果是Ubuntu等其它linux内核版本则不适合。 查看系统版本: 软件 版本 获取方法 Ope

    2024年02月16日
    浏览(41)
  • Hadoop环境搭建及常见问题解决(保姆级教程)

    学习大数据的路上,肯定少不了Hadoop的陪伴。 在学习Hadoop之初,一件\\\"痛苦\\\"的事情莫过于装环境,没有环境,练不了HDFS命令,写不了MapReduce程序,后续的HBase、Hive无从下手。 为了学好Hadoop,于是下决心,一定把环境装好,于是,跟着老师做,跟着网上学,别人都顺理成章、

    2023年04月09日
    浏览(85)
  • 【异常】Win10配置Hadoop环境cmd中输入hadoop -version提示 JAVA_HOME is incorrectly set.

    cmd:输入hadoop -version提示如下的异常 Error: JAVA_HOME is incorrectly set. Please update Please update E:Hadoophadoopetchadoophadoop-env.cmd 如果JAVA_HOME环境变量配置也没问题,则说明是错误提示中的配置文件中的JAVA_HOME配置有问题,该目录下的配置文件中的JAVA_HOME目录是: C:Program FilesJavajdk1.

    2024年02月06日
    浏览(49)
  • 【错误记录】安装 Hadoop 运行环境报错 ( Error: JAVA_HOME is incorrectly set. Please update xxx\hadoop-env.cmd )

    总结 : 报错 : Error: JAVA_HOME is incorrectly set. Please update xxxhadoop-env.cmd JDK 安装在了 C:Program Files 目录下 , 安装目录 Program Files 有空格 , 太坑了 ; 换一个没有空格的 JDK 目录 ; 安装 Hadoop 运行环境 , 完成上述安装步骤后 , 运行 hadoop 命令报错 ; C:Windowssystem32hadoop -version The system ca

    2024年02月08日
    浏览(40)
  • Hadoop课程学习——Hadoop的windows环境安装及问题

    前言 一、使用步骤 1.jdk下载 2.eclipse下载 3.jdk与eclipse环境配置 4.Hadoop使用 二:问题展示 1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错) 2.问题二:出现点击eclipse.exe不能运行 3.问题三:出现‘-Xmx512m’不是内部或外部指令 总结 关于Hadoop环境配置的过程以及出现

    2023年04月08日
    浏览(40)
  • 分布式集群——搭建Hadoop环境以及相关的Hadoop介绍

    分布式集群——jdk配置与zookeeper环境搭建 分布式集群——搭建Hadoop环境以及相关的Hadoop介绍 文章目录 前言 一 hadoop的相关概念 1.1 Hadoop概念 补充:块的存储 1.2 HDFS是什么 1.3 三种节点的功能 I、NameNode节点 II、fsimage与edits文件存放的内容介绍 III、DataNode节点 IV、SecondaryNameNod

    2024年02月10日
    浏览(53)
  • Hadoop集群环境配置搭建

    Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方:https://hadoop.apache.org/ 首先准备三台Linux服务器,预装CentOS7。三台服务器之间需要网络互通。本地

    2024年02月03日
    浏览(37)
  • Hadoop运行环境搭建

    0)安装模板虚拟机,IP 地址 192.168.10.100 、主机名称 hadoop100 、内存 4G 、硬盘 50G 1)hadoop100 虚拟机配置要求如下 1.使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情 况

    2024年02月13日
    浏览(52)
  • Hadoop环境搭建常见错误

    1)防火墙没关闭、或者没有启动YARN 2)主机名称配置错误 3)IP地址配置错误 4)ssh没有配置好 5)root用户和ovo两个用户启动集群不统一 6)配置文件修改不细心 7)不识别主机名称

    2024年02月13日
    浏览(29)
  • 【云计算】Hadoop环境搭建

    目录 一、环境准备 二、把Linux系统设置成固定IP  三、建立Hadoop用户   3.1、创建hadoop用户  3.2、修改 hadoop 用户权限  3.3、切换为 hadoop 用户 3.4、更新源   3.5、检查 SSH服务 3.6、配置 SSH 无密码登录 四、 安装 Java 环境 五、安装hadoop  六、Hadoop单机配置          使用MapRe

    2024年01月17日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包