windows hadoop 开发测试版快速搭建

这篇具有很好参考价值的文章主要介绍了windows hadoop 开发测试版快速搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、hadoop 包下载

  • 清华大学开源软件镜像站下载(速度较快,但版本不全)
  • 官方各个版本

下载后解压。
添加环境变量 HADOOP_HOME。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。

ps:本文使用的是 hadoop-3.3.2

2、windows 环境准备

windows 所需文件:winutils.exehadoop.dll
可从 GitHub 下载(不全)。

  • winutils.exe 放到 %HADOOP_HOME%/bin 下面。
  • hadoop.dll 放到 windows\system32 下面(也可以放到 %HADOOP_HOME%/bin 下面,加到 path 环境变量就行)。

3、配置

(可选)修改 %HADOOP_HOME%/etc/hadoop 下面的脚本 hadoop-env.cmd,修改 JAVA_HOME 为本机jdk安装时配置的目录。

修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件:core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml

  • core-site.xml
<configuration>

	<property>
		<name>fs.default.name</name>
		<value>hdfs://0.0.0.0:8020</value>
	</property>

    <!--用来指定使用hadoop时产生文件的存放目录, -->
    <property>
        <name>hadoop.tmp.dir</name> 
        <value>/D:/Programs/hadoop-3.3.2/temp</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <!--指定hdfs保存数据的副本数量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--指定hdfs中namenode的存储位置-->
    <property>
        <name>dfs.namenode.name.dir</name> 
        <value>/D:/Programs/hadoop-3.3.2/data/namenode</value>
    </property>
    <!--指定hdfs中datanode的存储位置-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/Programs/hadoop-3.3.2/data/datanode</value>
    </property>
		
	<property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>
  • mapred-site.xml
<configuration>
	<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
	<property>
		<description>The hostname of the RM.</description>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
  • yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->

     <!--nomenodeManager获取数据的方式是shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定 ResourceManager 的地址-->     
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property> 
    <property>
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
    <!--Yarn打印工作日志-->    
    <property>    
        <name>yarn.log-aggregation-enable</name> 
        <value>true</value>    
    </property>

</configuration>

第一次运行前,需要格式化HDFS:

hadoop namenode -format

运行:start-dfs.cmdstart-yarn.cmd(需要以管理员运行 cmd);(或 start-all.cmd )

然后访问:

  • http://localhost:8088 查看集群状态
  • http://localhost:50070 访问hdfs
  • http://localhost:19888 查看JobHistory(需要先启动jobHistoryserver)

4、一些报错

未指定 hadoop.tmp.dir(core-site.xml) :

2023-07-03 11:05:24,913 INFO localizer.ResourceLocalizationService: usercache path : file:/tmp/hadoop-a/nm-local-dir/usercache_DEL_1688353524257
2023-07-03 11:05:24,945 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。
 -- file path: tmp/hadoop-a/nm-local-dir/filecache
2023-07-03 11:05:25,013 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。
 -- file path: tmp/hadoop-a/nm-local-dir/usercache
2023-07-03 11:05:25,072 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。
 -- file path: tmp/hadoop-a/nm-local-dir/nmPrivate

非管理员运行 start-yarn.cmd :

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir D:/Programs/hadoop-3.3.2/temp/nm-local-dir, which was marked as good.

填指定 ip 时,则 只会监听该 ip。地址填 0.0.0.0 时,能够监听本机其他 ip。

如 yarn-site.xml 中的 yarn.resourcemanager.hostname。填 10.10.3.16 时,只能通过 10.10.3.16:8088 访问resourcemanager的webui,使用 localhost:8088 无法访问。文章来源地址https://www.toymoban.com/news/detail-601884.html

到了这里,关于windows hadoop 开发测试版快速搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 手机技巧:安卓微信8.0.45测试版功能来了

    目录 一、更新介绍 二、本次功能更新介绍 2.1 小程序界面优化 2.2 小程序个性化推荐支持关闭 三、其他实用的微信使用长按小技巧 3.1、长按对话框 3.2、长按搜索 3.3、长按相册 3.4、长按视频 3.5、长按表情包(能开启2个技巧) 3.6、长按音频文件 3.7、长按好友头像 四、软件下

    2024年02月04日
    浏览(61)
  • 升级iOS 17测试版后如何降级?iOS17降级教程

    对于已经升级到 iOS 17 测试版的用户,如果在体验过程中,感觉到并不是那么稳定,例如出现应用程序不适配、电池续航下降、功能无法正常启用等问题,想要进行降级操作,可以参考本教程。 降级前注意事项: 1.由于 iOS 系统限制,降级操作时无法直接保留数据,否则刷机

    2024年02月16日
    浏览(41)
  • CSDN评论区粉丝抽奖程序 测试版1.1【python萌新自制】

    为了巩固所学的知识,作者尝试着开始发布一些学习笔记类的博客,方便日后回顾。当然,如果能帮到一些萌新进行新技术的学习那也是极好的。作者菜菜一枚,文章中如果有记录错误,欢迎读者朋友们批评指正。 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣

    2024年02月09日
    浏览(60)
  • 【小程序“600002“】现象:小程序测试版能正常的进行页面跳转,正式版不能进行页面跳转

    记录:(in promise) MiniProgramError {“errno”:600002,“errMsg”:“request:fail url not in domain list”} Object 小程序报错 正式版报此错误测试版不报错且能正常进行页面跳转. 解决方案: 官方文档查看错误码含义:官方文档 解决方法:1.小程序访问后台地址换成域名去访问(忌:ip+端口) 2.在小程序公

    2024年02月13日
    浏览(46)
  • 使用一键安装工具快速搭建 ESP-IDF 开发环境 (Windows)

    我们收到用户对 ESP-IDF SDK 软件开发环境感到搭建难、门槛高的反馈。为解决用户在此方面的问题。为此,我们推出本期教程介绍在 Windows 操作系统下使用一键安装工具快速搭建 ESP-IDF 开发环境。 您可以观看下面的教程视频,也可以阅读接下来本篇的图文教程。 【乐鑫教程】

    2024年02月09日
    浏览(76)
  • 使用 VS Code 快速搭建 ESP-IDF 开发环境 (Windows、Linux、MacOS)

    ESP-IDF 是乐鑫官方的物联网开发框架,适用于 ESP32、ESP32-S、ESP32-C 和 ESP32-H 系列 SoC。它基于 C/C++ 语言提供了一个自给自足的 SDK,方便用户在这些平台上开发通用应用程序,并集成了大量的软件组件,包括 RTOS、外设驱动程序、网络栈、多种协议实现技术以及常见应用程序的使

    2024年02月14日
    浏览(62)
  • Hadoop——Windows系统下Hadoop单机环境搭建

    为了便于开发,我在本地Windows系统进行Hadoop搭建。 我使用的版本:hadoop-2.7.0。其他版本也可,搭建流程基本一样,所以参考这个教程一般不会有错。 1、下载安装包和插件 安装包hadoop-2.7.0.tar.gz 必要插件winutils-master 2、解压安装包 使用管理员身份运行cmd,到安装包对应目录下

    2024年02月09日
    浏览(52)
  • 【hadoop】windows上hadoop环境的搭建步骤

    在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。 docker部署hadoop请移步 下载hadoop安装包

    2024年02月12日
    浏览(38)
  • hadoop集群搭建、spark集群搭建、pyspark搭建(linux+window)

    本文记录学习过程中Hadoop、zookeeper、spark集群搭建,主要为pyspark库服务(具体为window上pyspark环境和pyspark库,linux上spark框架、pyspark应用程序、pyspark环境和pyspark库)。pyspark环境是用anaconda3搭建的环境。pyspark应用程序,是安装spark集群里面自带的,提供一个python解释器环境来执

    2024年01月22日
    浏览(46)
  • 2 | Window 搭建单机 Hadoop 和Spark

    搭建单机 Hadoop 和 Spark 环境可以学习和测试大数据处理的基础知识。在 Windows 操作系统上搭建这两个工具需要一些配置和设置,下面是一个详细的教程: 注意: 在开始之前,请确保你已经安装了 Java 开发工具包(JDK),并且已经下载了 Hadoop 和 Spark 的最新版本。你可以从官

    2024年02月10日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包