Hadoop Hdfs基本命令

这篇具有很好参考价值的文章主要介绍了Hadoop Hdfs基本命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0目录

1.hadoop安装问题处理

2.hdfs基本命令

3.上传/下载文件和文件夹

1.hadoop安装问题处理

如果安装有进程无法启动,如下图

Hadoop Hdfs基本命令,hadoop,数据库

重新检查6个配置文件

Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml

Hadoop Hdfs基本命令,hadoop,数据库

来到hadoop313目录

Hadoop Hdfs基本命令,hadoop,数据库

清空data和yarndata

Hadoop Hdfs基本命令,hadoop,数据库

重新初始化

Hadoop Hdfs基本命令,hadoop,数据库

测试

Hadoop Hdfs基本命令,hadoop,数据库

2.hadoop hdfs基本命令

Windows目录添加端口号

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

测试

Hadoop Hdfs基本命令,hadoop,数据库

分布式启动命令

关闭

Hadoop Hdfs基本命令,hadoop,数据库

启动dfs.sh

Hadoop Hdfs基本命令,hadoop,数据库

关闭dfs.sh

Hadoop Hdfs基本命令,hadoop,数据库

启动yarn

Hadoop Hdfs基本命令,hadoop,数据库

对应

dfs.sh   对应    DataNode / NameNode / SecondaryNameNode

yarn.sh  对应    ResourceManager / NodeManager

启动单一进程

来到sbin目录下 启动hdfs

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

启动yarn

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

3.上传/下载文件夹和文档

目前没有文件和文档

Hadoop Hdfs基本命令,hadoop,数据库

Opt 目录下创建kb23tmp文件夹,kb23tmp创建hellohadoop.txt

Hadoop Hdfs基本命令,hadoop,数据库

编辑hellohadoop.txt

Hadoop Hdfs基本命令,hadoop,数据库

上传

Hadoop Hdfs基本命令,hadoop,数据库

上传成功

Hadoop Hdfs基本命令,hadoop,数据库

上传文件 来到install目录下

Hadoop Hdfs基本命令,hadoop,数据库

hdfs 创建 install文件

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

上传

[root@kb130 install]# hdfs dfs -put ./hadoop313.gz /install

Hadoop Hdfs基本命令,hadoop,数据库

上传成功

Hadoop Hdfs基本命令,hadoop,数据库

3个节点

Hadoop Hdfs基本命令,hadoop,数据库

删除文档

Hadoop Hdfs基本命令,hadoop,数据库

删除文件夹

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

下载 将hellohadoop.txt 下载到当前(kb23tmp目录下)

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库

补充常见端口号

  • 常用端口号
    hadoop3.x
    HDFS NameNode 内部通常端口: 8020/9000/9820
    HDFS NameNode 对用户的查询端口:9870
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    hadoop2.x
    HDFS NameNode内部通常端口:8020/9000
    HDFS NameNode 对用户的查询端口: 50070
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    二、常用的配置文件
    3.x 
    core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers
    2.x 
    core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Yarn

Hadoop Hdfs基本命令,hadoop,数据库

开启历史服务器

Hadoop Hdfs基本命令,hadoop,数据库

Hadoop Hdfs基本命令,hadoop,数据库文章来源地址https://www.toymoban.com/news/detail-681779.html

到了这里,关于Hadoop Hdfs基本命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop-5-HDFS常用命令

    第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类:空间大小查看系列命令: hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件

    2024年02月09日
    浏览(43)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(52)
  • 详解数据库、Hive以及Hadoop之间的关系

    数据库是一个用于存储和管理数据的系统。 数据库管理系统(DBMS)是用于管理数据库的软件。 数据库使用表和字段的结构来组织和存储数据。 关系型数据库是最常见的数据库类型,使用SQL(Structured Query Language)进行数据操作和查询。 数据库管理系统(DBMS):数据库管理系

    2024年03月15日
    浏览(58)
  • 深入浅出hdfs-hadoop基本介绍

    一、Hadoop基本介绍 hadoop最开始是起源于Apache Nutch项目,这个是由Doug Cutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google 发表了三篇未来持续影响大数据领域的三架马车论文: Google FileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮

    2024年01月24日
    浏览(57)
  • hadoop命令行查看hdfs容量剩余

    #需要有superuser权限才能执行 hadoop dfsadmin -report #Remaining是剩余的容量 也可以通过浏览器访问50070端口查看

    2024年02月15日
    浏览(71)
  • 使用Sqoop将数据从Hadoop导出到关系型数据库

    当将数据从Hadoop导出到关系型数据库时,Apache Sqoop是一个非常有用的工具。Sqoop可以轻松地将大数据存储中的数据导出到常见的关系型数据库,如MySQL、Oracle、SQL Server等。本文将深入介绍如何使用Sqoop进行数据导出,并提供详细的示例代码,以帮助大家更全面地理解和实施这一

    2024年02月20日
    浏览(40)
  • Hadoop HDFS shell 命令行常用操作

    前言:Hadoop HDFS shell的命令和Linux的shell命令有类似的地方,基本上会使用Linux命令的话,把HDFS的理论理解一下就可以了。 一、创建文件夹  path为待创建的目录  -p选项的行为与unix mkdir -p类似,他会沿着路经创建父目录 二、查看指定目录下的内容  Path指定目录路径 -h人性化显

    2024年02月04日
    浏览(49)
  • hadoop基础:通过 Shell 命令访问 HDFS

    HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为 操作命令 、 管理命令 、 其他命令 三类 操作命令是以“ hdfs dfs ”开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制、删除和查找 等操作,Shell 命令的一般格式如下。 hdfs dfs [通用选项] 其中,hdfs

    2023年04月08日
    浏览(48)
  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(52)
  • Hadoop和关系型数据库间的数据传输工具——Sqoop

    1.1、产生背景 1.2、Sqoop是什么 Sqoop是一个用于 Hadoop 和 结构化数据存储 (如关系型数据库)之间进行高效传输大批量数据的工具。它包括以下两个方面: 可以使用Sqoop将数据从 关系型数据库管理系统(如MySQL)导入到Hadoop系统 (如HDFS、Hive、HBase)中 将数据从Hadoop系统中抽取并导

    2023年04月08日
    浏览(118)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包