Windows11安装hadoop-3.3.0

这篇具有很好参考价值的文章主要介绍了Windows11安装hadoop-3.3.0。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、安装Java

1. 下载Java

进入下载页面Java Archive Downloads - Java SE 8

Java SE Development Kit 8u191中

选择适合操作系统的下载文件

在安装好的路径下,将Java目录复制到C:\根目录下,形成C:\Java\jdk1.8.0_191目录结构

2. 设置环境变量

注意:要保证jdk所在的路径中不能包含空格,比如Program Files中间是有空格的,建议参照下图中的路径

Windows11安装hadoop-3.3.0,hadoop,大数据,linux

 Windows11安装hadoop-3.3.0,hadoop,大数据,linux

二、安装Hadoop

1. 下载hadoop-3.3.0

进入下载页面

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/

选择hadoop-3.3.0.tar.gz下载

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

解压到C:\hadoop-3.3.0目录,形成C:\hadoop-3.3.0\bin这种目录层次

2. 下载winutils替换hadoop-3.3.0\bin目录

下载winutils

https://github.com/s911415/apache-hadoop-3.1.0-winutils

将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录

3. 设置环境变量

Windows11安装hadoop-3.3.0,hadoop,大数据,linux

Windows11安装hadoop-3.3.0,hadoop,大数据,linux

4. 修改配置

C:\hadoop-3.3.0\etc\hadoop目录下有4个配置文件

C:\hadoop-3.3.0\etc\hadoop\core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9820</value>
  </property>
</configuration>

C:\hadoop-3.3.0\etc\hadoop\hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/hadoop-3.3.0/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///C:/hadoop-3.3.0/data/dfs/datanode</value>
  </property>
</configuration>

C:\hadoop-3.3.0\etc\hadoop\mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>MapReduce framework name</description>
  </property>
</configuration>

C:\hadoop-3.3.0\etc\hadoop\yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Yarn Node Manager Aux Service</description>
  </property>

</configuration>

5. 格式化目录

创建数据目录

C:\hadoop-3.3.0\data\dfs\namenode

C:\hadoop-3.3.0\data\dfs\datanode

cd C:\hadoop-3.3.0\bin
hdfs namenode -format

注意:-format中开头的短横容易写成全角下的短横,这样会导致错误,一定要用半角短横

Windows11安装hadoop-3.3.0,hadoop,大数据,linux

 选择Y

6. 验证服务

C:\hadoop-3.3.0\sbin> jps
17504 NameNode
17584 Jps
20944 NodeManager
3852 DataNode
4572 ResourceManager
PS C:\hadoop-3.3.0\sbin>

7. 启动

进入C:\hadoop-3.3.0\sbin

执行start-dfs.cmd文件

cd C:\hadoop-3.3.0\sbin
start-dfs.cmd

执行start-yarn.cmd文件

cd C:\hadoop-3.3.0\sbin
start-yarn.cmd

可能问题:

如果出现报错:

Windows11安装hadoop-3.3.0,hadoop,大数据,linux

 java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineColl

可以复制
C:\hadoop-3.3.0\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.3.0.jar

C:\hadoop-3.3.0\share\hadoop\yarn

8. Hadoop的WebUI工具

  • Name node web page: http://localhost:9870/dfshealth.html
  • Data node web page: http://localhost:9864/datanode.html
  • Yarn web page: http://localhost:8088/cluster

三、参考文章

https://brain-mentors.com/hadoopinstallation/

https://towardsdatascience.com/installing-hadoop-3-2-1-single-node-cluster-on-windows-10-ac258dd48aef文章来源地址https://www.toymoban.com/news/detail-526457.html

到了这里,关于Windows11安装hadoop-3.3.0的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Windows11安装运行Linux(Ubuntu)应用

    输入 windows 打开界面 选择 虚拟机监控程序平台 、 适用于linux的子系统 、 虚拟机平台 在 Windows 系统中,\\\"虚拟机平台\\\"和\\\"虚拟机监控程序平台\\\"是两个与虚拟化相关的功能,但它们各自有着不同的作用和用途。 虚拟机平台 (Virtual Machine Platform): 这个功能允许你在 Windows 操作系

    2024年04月11日
    浏览(38)
  • Windows 11 中如何为 Linux 安装 Windows 子系统:详细教程

    微软首先通过 2016 年在 Windows 10 周年更新中引入的 Windows Subsystem for Linux (WSL) 提供了一定程度的 Linux 兼容性,该实用程序的初始版本并不完美。 WSL 2 在 2019 年 6 月改变了这一点,通过操作系统的内置 Hyper-V 管理程序将完整的 Linux 内核直接整合到 Windows 10 中。 安装 WSL 曾经是

    2024年02月10日
    浏览(50)
  • Kali Linux+Windows 11双系统物理实体机安装

    最开始我想的也是用虚拟机使用Kali,但是奈何配置不好实在得不到什么好的使用体验。后来是了解到grub是可以引导win系统的,又稍微看了一下谷歌,发现确实没什么关于Kali+Windows双系统安装的文章,于是就自己先给自己电脑装了双系统,然后出篇文章来稍微记录一下。 本文

    2024年02月09日
    浏览(37)
  • 【Windows 11】安装 Android子系统 和 Linux子系统

    本文使用电脑系统: 主要就是安装一个名为: 适用于Android的Windows子系统 (WSA)的软件。 首先在电脑的设置里面:时间和语言——语言和地区里面把地区改为美国。 然后到微软商店搜索: Amazon AppStore 。 安装亚马逊应用商店的时候,会首先提示你安装前面说的WSA。如此,我

    2024年02月09日
    浏览(52)
  • 【2023】Windows11安装Linux子系统(Ubuntu22.04LTS)+安装ROS

    目录 一、准备工作 二、安装Ubuntu 22.04.1 LTS 1. 下载Ubuntu 22.04.1 LTS 2. 移动到非系统盘 三、启动Ubuntu遇到的报错及解决方案 四、换源 五、安装ROS 1. 设置编码 2. 添加源 3. 安装ROS 4. 设置环境变量 5. 测试 控制面板——程序——程序和功能——启动或关闭 Windows 功能   开启如图所

    2024年02月10日
    浏览(70)
  • Windows11编译Hadoop3.3.6源码

    由于 https://github.com/kontext-tech/winutils 还未发布3.3.6版本,因此尝试源码编译。 本文 hadoop-3.3.6 编译后 winutils 等文件获取 GitHub 地址 Git-2.43.0-64-bit.exe jdk-8u381-windows-x64.exe node-v21.2.0-x64.msi apache-ant-1.10.14-bin.zip apache-maven-3.9.5-bin.zip protoc-25.1-win64.zip cmake-3.28.0-rc5-windows-x86_64.zip GetGnuWi

    2024年02月04日
    浏览(43)
  • Windows11 + Linux (Ubuntu22.04) 双系统最简安装详细避坑版

    1. 首先 我们有一个安装了Windows11系统的电脑,准备一个8G以上的U盘(或者移动硬盘) 2. 查看/更改引导方式 确保双系统安装完成后可以有双系统菜单: --Win+R呼出运行界面,输入:msinfo32,确定,会弹出一个系统信息的面板(或者直接搜索系统信息)。 --在项目栏找到BIOS模式

    2024年04月27日
    浏览(45)
  • 【虚拟机】在Windows11上下载安装VMware虚拟机以及Ubuntu(Linux)详细操作

    介绍 这里是小编成长之路的历程,也是小编的学习之路。希望和各位大佬们一起成长! 以下为小编最喜欢的两句话: 要有最朴素的生活和最遥远的梦想,即使明天天寒地冻,山高水远,路远马亡。 一个人为什么要努力? 我见过最好的答案就是:因为我喜欢的东西都很贵,

    2024年02月16日
    浏览(46)
  • Linux Deepin系统安装x11vnc+cpolar实现Windows系统电脑远程其桌面

    x11vnc是一种在Linux系统中实现远程桌面控制的工具,它的原理是通过X Window系统的协议来实现远程桌面的展示和控制。在Linux系统中,X Window系统是用于图形界面显示的基础架构,它通过客户端-服务器的方式工作,x11vnc就是作为一个服务器程序来运行,接受客户端的连接并提供

    2024年03月21日
    浏览(59)
  • Windows下安装Hadoop(手把手包成功安装)

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有

    2024年02月08日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包