Hadoop框架---HDFS的Shell命令操作

这篇具有很好参考价值的文章主要介绍了Hadoop框架---HDFS的Shell命令操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


一、基本语法

有2种等效的语法格式分别为:

case1: hadoop fs 具体命令
case2: hdfs dfs 具体命令

实际使用时根据个人喜好自由选择以上任意一种语法格式。

二、命令大全

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。

三、常用命令实操

3.1 准备工作

3.1.1 启动Hadoop集群

在使用shell命令前,一定要确保我们的Hadoop集群处于打开状态。

这里我们把3台服务器各自对应的节点都打开了,为了方便后续测试。

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

跳转到Web端的HDFS,处于活跃状态

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.1.2 -help 输出这个命令参数的帮助文档

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.1.3 创建一个测试文件夹/test

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

3.2 上传

3.2.1 -moveFromLocal: 从本地剪切粘贴到HDFS

首先在本地任意创建一个名为test.txt的文件:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
输入指定内容:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

查看本地当前路径,test.txt文件已生成:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
调用-moveFromLocal命令上传到HDFS端并查看:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

此时再返回本地查看当前路径,发现源文件已消失:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
因为执行的是剪切操作,所以通过moveFromLocal命令所上传到HDFS端的源文件会被删除!


3.2.2 -copyFromLocal: 从本地文件系统中拷贝文件到HDFS路径去

本地创建文件并输入内容:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

调用-copyFromLocal命令上传到HDFS端并查看:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

返回查看本地目录:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

注:moveFromLocalcopyFromLocal的唯一区别就是是否删除源文件!


3.2.3 -put: 等同于copyFromLocal,生产中更习惯用put

put命令和copyFromLocal命令有着相同的复制效果,所以我们生产环境中常用put,因为简短
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.2.4 -appendToFile: 追加一个文件到已存在的文件末尾

创建新文件并输入内容:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

调用appendToFile命令将新文件内容追加到qinqin.txt里:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

查看HDFS端qinqin.txt文件内容已在原有基础上做了追加:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

3.3 下载

3.3.1 -copyToLocal: 从HDFS拷贝到本地

比如我们要把HDFS端上的/test目录下的文件下载到本地:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.3.2 -get: 等同于copyToLocal,生产中常用get

get同样可以实现相应的效果:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

3.4 HDFS直接操作

3.4.1 -ls: 显示目录信息

需求:显示HDFS端/mylearn的目录信息:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.2 -cat: 显示文件内容

需求:显示HDFS端/test目录下的baby.txt的文件内容:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.3 -chgrp, -chmod, -chown: Linux文件系统中的用法一样,修改文件所属权限

需求:设置HDFS端/test目录下的baby.txt的文件权限、属主和属组:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.4 -mkdir: 创建路径

需求:创建一个新路径:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.5 -cp: 从HDFS的一个路径拷贝到HDFS的另一个路径

需求:把/test目录下的baby.txt文件拷贝一份到/haha目录下:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.6 -mv: 在HDFS目录中移动文件

需求:把/test目录下的qinqin.txt文件移动到/haha目录下:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.7 -tail: 显示一个文件的末尾1Kb的数据

需求:查看/haha目录下的qinqin.txt末尾数据:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.8 -rm: 删除文件或文件夹

需求:删除/haha目录下的qinqin.txt文件

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.9 -rm -r: 递归删除目录及目录里的内容

需求:递归删除/test目录及其中的所有内容

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
可以看到根目录下已没有该子目录:
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.10 -du: 统计文件夹的大小信息

需求:查看/mylearn目录的大小信息和详细文件信息
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java


3.4.11 -setrep: 设置HDFS中文件的副本数量

需求:设置/haha目录下的baby.txt文件的副本数量:
修改前副本数量:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java
修改后副本数量:

hdfs的shell操作,大数据入门框架之Hadoop,hadoop,hdfs,大数据,java文章来源地址https://www.toymoban.com/news/detail-753311.html

到了这里,关于Hadoop框架---HDFS的Shell命令操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据:HDFS的Shell常用命令操作

    HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。 Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执

    2023年04月09日
    浏览(51)
  • hadoop基础:通过 Shell 命令访问 HDFS

    HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为 操作命令 、 管理命令 、 其他命令 三类 操作命令是以“ hdfs dfs ”开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制、删除和查找 等操作,Shell 命令的一般格式如下。 hdfs dfs [通用选项] 其中,hdfs

    2023年04月08日
    浏览(47)
  • 【Hadoop】-HDFS的Shell操作[3]

    目录 前言 一、HDFS集群启停命令 1.一键启停脚本可用 2.独立进程启停可用  二、文件系统操作命令 1、创建文件夹 2、查看指定目录下内容 3、上传文件到HDFS指定目录下  4、查看HDFS文件内容 5、下载HDFS文件 6、拷贝HDFS文件 7、追加数据到HDFS文件中 8、HDFS数据移动操作 9、HDFS数

    2024年04月26日
    浏览(46)
  • HDFS操作常用的Shell命令

    目录 (1)   向HDFS 中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; (2)   从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名; (3)   将HDFS中指定文件的内容输出到终端中

    2023年04月10日
    浏览(42)
  • 实验二 HDFS的Shell命令操作,和HDFS的API操作

    来自博主卷毛迷你猪的授权 ,這是我的老師的博客多多關注 掌握 Hadoop 中 HDFS 的 Shell 命令操作 掌握 Hadoop 中 HDFS 的API操作  项目1:HDFS常见命令练习  项目2:HDFS命令的综合运用实践  项目3:HDFS的API使用实践  项目4:HDFS的API单元测试程序和更多思考(选做)  HDFS是

    2024年04月26日
    浏览(42)
  • 从零开始的Hadoop学习(五)| HDFS概述、shell操作、API操作

    1.1 HDFS 产出背景及定义 1) HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切 需要一种系统来管理多台机器上的文件 ,这就是分布式文件管理系统。 HDFS只是分布式文件管理系统

    2024年02月10日
    浏览(56)
  • 大数据:HDFS的Shell操作,进程启动管理,文件系统操作命令,创建文件文件夹,下载上传,复制移动,删除,展示,追加内容

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月07日
    浏览(71)
  • 大数据课堂笔记 HDFS的shell操作

    一、HDFS常用命令操作实战 启动Hadoop集群 执行命令    start-yarn.sh  1.创建目录 (1).单层目录 执行命令  hdfs dfs -mkdir /ied  利用WebUI查看创建的目录 (2).创建多层目录 执行命令  hdfs dfs -mkdir -p /luzhou/lzy  利用WebUI查看创建的多层目录  2.查看目录 执行命令  hdfs dfs -ls /         

    2024年02月09日
    浏览(46)
  • 分布式文件系统与HDFS的shell操作及查看元数据

      启动hadoop和hive的metastore 查看sbin的目录下的文件 执行./start-all.sh  查看相关的进程

    2024年02月16日
    浏览(56)
  • HDFS 基本 shell 操作

    调用格式: 例如: 调用格式: 注意: 直接写/是省略了文件系统的名称hdfs://ip:port。 例如: 调用格式: 例如: 调用格式: 本地文件 hello1.txt 的内容追加到 hdfs 文件 hello.txt 的后面操作如下: 原 hello.txt:hello world 原 hello1.txt:hello 追加的 hello.txt 中内容如下 查看分布式文件系统的目录

    2024年02月15日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包