windows上Hadoop的安装和使用

这篇具有很好参考价值的文章主要介绍了windows上Hadoop的安装和使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hadoop的安装和使用(windows)

  1. 下载hadoop在windows上运行的软件winutils

   由于Hadoop不直接支持Windows系统,需要使用工具集winutils进行支持。到github.com网站(https://github.com/s911415/apache-hadoop-3.1.3-winutils)下载与Hadoop3.1.3配套的winutils。

  1. 将hadoop3.1.3解压到常用的学习路径(E:\minghuan\hadoop-3.1.3)
  2. 在解压路径(E:\minghuan\hadoop-1.3)下,先创建tmp目录,然后再tmp目录下创建两个子目录,分别是datanode和namenode。
  3. 配置hadoop3.1.3的环境变量

  将Hadoop3.1.3的解压路径(到bin目录)复制(E:/…/hadoop3.1.3/bin),右键单击计算机(此电脑)—>再点击属性—>高级系统设置—>环境变量—选择Path—>新建

wind启动hadoop,hadoop,windows,大数据

wind启动hadoop,hadoop,windows,大数据

  1. 将apache-hadoop-3.1.3-winutils-master.zip解压到(E:\minghuan\),然后将其目录的bin目录下所有的文件复制到hadoop3.1.3的解压路径(E:\minghuan\hadoop-3.1.3)的bin目录下。

wind启动hadoop,hadoop,windows,大数据

  1. 切换到E:\minghuan\hadoop-3.1.3\etc\hadoop下修改三个文件
  1. 修改文件(再windows中找到解压路径下的etc/hadoop:

E:\minghuan\hadoop-3.1.3\etc\hadoop,使用记事本打开,然后编辑文件)

 core-site.xml

wind启动hadoop,hadoop,windows,大数据

hdfs-site.xml

wind启动hadoop,hadoop,windows,大数据

hadoop-env.cmd

修改hadoop-env.cmd文件,找到如下一行:

set JAVA_HOME=%JAVA_HOME%替换为 Java的安装路径(建议路径中不要包含中文和空格)

set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_281或者

set JAVA_HOME="E:\Program Files"\Java\jdk1.8.0_281

  1. 打开windows的cmd命令行窗口,然后执行如下命令:

wind启动hadoop,hadoop,windows,大数据

格式化hadoop集群:

cd E:\minghuan\hadoop3.1.3\bin

hdfs namenode  -format

启动集群:

cd E:\minghuan\hadoop3.1.3\sbin

start-dfs.cmd

停止集群:

cd E:\minghuan\hadoop3.1.3\sbin

stop-dfs.cmd

访问集群:

 在浏览器中输入:http://localhost:9870

HDFS的shell命令

  1. 创建一个目录(在HDFS上)

   切换到解压路径下的bin目录      cd  E:\minghuan\hadoop3.1.3\bin

   使用hadoop fs ( 等价于hdfs)  -mkdir  要创建目录的路径

hadoop  fs   -mkdir  hdfs://localhost:9000/user/

hadoop  fs   -mkdir  hdfs://localhost:9000/user/xiaofang

  1. 上传一个本地文件到hdfs的xiaofang的目录

 在E盘的minghuan创建一个文件test.txt(新建一个文本文档),输入I love Hadoop

   切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

 hadoop   fs   -put  本地文件的所在路径   目的路径(HDFS的路径)

 hadoop   fs   -put   E:\minghuan\test.txt  hdfs://localhost:9000/user/xiaofang

  1. 查看hdfs路径下的目录及文件

切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

hadoop  fs  -ls  要查看的HDFS的路径

hadoop  fs  -ls  hdfs://localhost:9000/

  1. 查看hdfs的xiaofang目录下的文件内容

切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

hadoop  fs  -cat  要查看的HDFS的文件路径

hadoop  fs  -cat  hdfs://localhost:9000/user/xiaofang/test.txt

  1. 下载hdfs的xiaofang目录下的文件test.txt

切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

hadoop  fs  -get  要下载的HDFS的文件路径  下载到本地存放文件的路径

hadoop  fs  -get  hdfs://localhost:9000/user/xiaofang/test.txt  E:\minghuan\test01.txt

  1. 删除hdfs上的test.txt文件

切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

hadoop  fs  -rm  要删除的HDFS的文件路径

hadoop  fs  -rm  hdfs://localhost:9000/user/xiaofang/test.txt

  1. 删除hdfs上的目录及目录下的文件

切换到解压路径下的bin目录   cd  E:\minghuan\hadoop3.1.3\bin

hadoop  fs  -rm  -r 要删除的HDFS的文件路径

hadoop  fs  -rm  -r  hdfs://localhost:9000/user/xiaofang

  文章来源地址https://www.toymoban.com/news/detail-557158.html

到了这里,关于windows上Hadoop的安装和使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop课程学习——Hadoop的windows环境安装及问题

    前言 一、使用步骤 1.jdk下载 2.eclipse下载 3.jdk与eclipse环境配置 4.Hadoop使用 二:问题展示 1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错) 2.问题二:出现点击eclipse.exe不能运行 3.问题三:出现‘-Xmx512m’不是内部或外部指令 总结 关于Hadoop环境配置的过程以及出现

    2023年04月08日
    浏览(42)
  • Hadoop安装Hbase启动失败报错解决方法

    先进入hbase文件目录里看日志文件看看报什么错再具体解决: vim /opt/module/hbase-1.3.3/logs/hbase-root-master-hadoop-single.log  1.报错org.apache.hadoop.security.AccessControlException: Permission denied: user异常解决方法 1、第一种 在hdfs的配置文件中,将dfs.permissions修改为False(不推荐) 2、第二种 执行

    2024年02月07日
    浏览(45)
  • 判断hadoop伪分布式安装模式是否成功启动

    1.使用命令start-all.sh,来同时启动HDFS和YARN start-all.sh  2.通过命令 jps 检验一下是否开启Hadoop的全部进程  如图所示:DataNode,NameNode,SecondaryNameNode是文件系统HDFS的进程; NodeManager,ResourceManager是YARN的进程。这五个进程都启动成功,才说明Hadoop启动成功。

    2024年02月13日
    浏览(57)
  • Windows下安装Hadoop(手把手包成功安装)

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有

    2024年02月08日
    浏览(49)
  • windows环境下安装配置hadoop

    (需要提前安装好JDK,否则会出错。) 1、进入 https://archive.apache.org/dist/hadoop/ 下载所需要的hadoop版本 (演示:hadoop-2.9.1.tar.gz(可能需要双重解压)) 下载后解压至想要安装的目录位置 2、下载winutils.exe(GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windo

    2023年04月08日
    浏览(55)
  • Windows11安装hadoop-3.3.0

    一、安装Java 1. 下载Java 进入下载页面Java Archive Downloads - Java SE 8 Java SE Development Kit 8u191中 选择适合操作系统的下载文件 在安装好的路径下,将Java目录复制到C:根目录下,形成C:Javajdk1.8.0_191目录结构 2. 设置环境变量 注意:要保证jdk所在的路径中不能包含空格,比如Program F

    2024年02月12日
    浏览(68)
  • Windows上安装Hadoop 3.x

          目录 0. 安装Java 1. 安装Hadoop 1.1 下载Hadoop 1.2 下载winutils 2. 配置Hadoop 1. hadoop-env.cmd 2. 创建数据目录 3. core-site.xml 4. hdfs-site.xml 3. 启动测试 3.1 namenode格式化 3.2 启动Hadoop  3.3 查看webui 3.4 测试hdfs 3.5. 测试MapReduce 4. 还没结束 4.1 YARN的webui没看到任务 4.2 hadoop-streaming的小坑 我

    2024年02月11日
    浏览(37)
  • Windows运行Spark所需的Hadoop安装

    解压文件  复制bin目录         找到winutils-master文件hadoop对应的bin目录版本         全部复制替换掉hadoop的bin目录文件  复制hadoop.dll文件         将bin目录下的hadoop.dll文件复制到System32目录下    配置环境变量  修改hadoop-env.cmd配置文件 注意jdk装在非C盘则完全没问题,

    2024年02月10日
    浏览(43)
  • Windows环境下Hadoop的安装和配置

    Windows10 JDK1.8.0_192 Hadoop2.7.3 首先要安装好Java。没装的先搜索安装Java的教程吧。 这里我已经安装好了,需要配置好环境变量,Hadoop的安装会用到。 路径:C:Program FilesJavajdk1.8.0_192 环境变量:HAVA_HOME,值:C:Program FilesJavajdk1.8.0_192 从hadoop-2.7.3下载hadoop-2.7.3.tar.gz,解压后放到

    2023年04月08日
    浏览(43)
  • Windows 环境下 Hadoop 的安装和配置

    Windows10 JDK1.8.0_192 Hadoop2.7.3 首先要安装好Java。没装的先搜索安装Java的教程吧。 这里我已经安装好了,需要配置好环境变量,Hadoop的安装会用到。 路径:C:Program FilesJavajdk1.8.0_192 环境变量:HAVA_HOME,值:C:Program FilesJavajdk1.8.0_192 从hadoop-2.7.3下载hadoop-2.7.3.tar.gz,解压后放到

    2024年02月08日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包