HDFS常用命令汇总

这篇具有很好参考价值的文章主要介绍了HDFS常用命令汇总。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、前言信息

官网命令说明查看
HDFS常用命令汇总
说明:

命令 适用范围
hadoop fs 使用范围最广,建议使用,可操作任何对象
hadoop dfs 只可操作HDFS文件系统(已弃用)
hdfs fs 只可操作HDFS文件系统,包括与Local FS间的操作
hdfs dfs 只可操作HDFS文件系统,常用

二、帮助信息查看

1、查看帮助信息

hadoop fs

[]表示可选参数,<>表示必须参数
HDFS常用命令汇总

2、帮助文档(附带命令的详细说明)

hadoop fs –help

HDFS常用命令汇总

三、常用命令

1、创建目录

hadoop fs –mkdir [-p] <path>

HDFS常用命令汇总

2、查看目录下的内容

hadoop fs –ls [-h] [-R] [<path>]
-h  人性化显示文件大小
-R 递归查看指定目录及子目录

HDFS常用命令汇总

3、上传文件

hadoop fs –put [-f] [-p] <localsrc> <dst>
-f   覆盖目标文件(若文件已存在)
-p   保留访问和修改时间、所有权和权限
localsrc   本地文件系统
dst   目标文件系统

HDFS常用命令汇总

4、上传并删除源文件

hadoop fs –moveFromLocal <localsrc> <dst>

这个和put唯一不同的地方就在于该命令会上传完后会删除源文件

HDFS常用命令汇总

5、查看文件内容

读取文件全部内容显示在标准输出控制台(大文件慎用)

hadoop fs –cat <src>

HDFS常用命令汇总

6、查看文件开头内容

查看文件前1KB的内容

hadoop fs –head <src>

HDFS常用命令汇总

7、查看文件末尾内容

查看文件末尾1KB的内容

hadoop fs –tail [-f] <src>
-f   动态显示文件中追加的内容

8、下载文件

下载文件到本地指定目录

hadoop fs –get [-f] [-p] <src> <localdst>
-f   覆盖目标文件(目标文件存在)
-p   保留访问和修改时间、所有权和权限

HDFS常用命令汇总

9、合并下载文件

将HDFS上一个目录中所有的文件合并到一起输出到一个本地文件上

hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
-nl   每个文件末尾添加换行符
-skip-empty-file   跳过空白文件

HDFS常用命令汇总

10、拷贝文件

将原始路径的文件拷贝到新的路径下

hadoop fs –cp [-f] <src> <dst>
-f   覆盖目标文件(文件存在的情况下)

HDFS常用命令汇总

11、追加数据到文件中

将本地文件的内容追加到hdfs指定的文件中

hadoop fs –appendToFile <localsrc> <dst>
localsrc  本地文件,如果为”-”,则输入从标准输入中读取
dst 目标文件不存在则创建

HDFS常用命令汇总
从标准输入读取,ctrl+c结束输入
HDFS常用命令汇总

12、查看磁盘空间

hadoop fs –df [-h] [<path>]

HDFS常用命令汇总

13、查看文件使用的空间

hadoop fs –du [-s] [-h] <path>
-s   显示指定路径文件长度的汇总摘要而不是单个文件的摘要
-h   人性化显示文件大小

HDFS常用命令汇总

14、移动文件

移动文件到指定目录下(也可重命名文件)

hadoop fs –mv <src> <dst>

HDFS常用命令汇总

HDFS常用命令汇总

15、修改文件副本个数

修改指定文件的副本个数

hadoop fs –setrep [-R] [-w] <rep> <path>
-R 表示递归修改文件夹及其子目录所有
-w 客户端是否等待副本修改完毕

HDFS常用命令汇总
HDFS常用命令汇总
HDFS常用命令汇总

16、查看校验码信息

hadoop fs –checksum <path>

HDFS常用命令汇总

17、显示路径下的目录、文件和字节数

hadoop fs -count [-q] [-h] [-v] <paths>
-q   控制显示的列
-v   显示标题行

HDFS常用命令汇总

18、从本地拷贝文件

hadoop fs -copyFromLocal <localsrc> <dst>

注:该命令类似于put,不同的是拷贝的源地址必须是本地文件系统
HDFS常用命令汇总

19、拷贝文件到本地

注:该命令类似于get,不同的是拷贝目标地址必须为本地文件系统

hadoop fs –copyToLocal <path> <localdst>

HDFS常用命令汇总

20、查找目录文件

hadoop fs –find <path> <expression>
expression说明:
-name pattern   查找的文件名
-iname pattern  忽略大小写查找文件名
-print    打印(默认值)
-print0   打印在一行

HDFS常用命令汇总
HDFS常用命令汇总

21、删除文件

删除指定参数的文件,如果启用了垃圾箱,文件系统会将删除的文件移动到垃圾箱目录,默认情况下禁用垃圾箱功能,用户可以通过为参数fs.trash.interval(在core-site.xml中)设置大于零的值来启用垃圾箱。

hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
-f   如果文件不存在,-f选项将不会显示诊断消息或修改退出状态以反映错误
-R   选项递归地删除目录及其下的任何内容
-skipTrash  选项将绕过垃圾箱(如果启用),并立即删除指定的文件

HDFS常用命令汇总

相关更多命令以及更详细的用法可以通过官网学习。文章来源地址https://www.toymoban.com/news/detail-419294.html

到了这里,关于HDFS常用命令汇总的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable diffusion 常用启动参数汇总及说明

    stable diffusion安装根目录下,使用记事本打开webui-user.bat,然后修改对应参数。 多个参数使用空格隔开 常用参数: 参数 说明 –xformers 启用xformers,可以加快图像生成速度,第一次启用会自动下载 –listen 使其他人可以访问,启用成功可以看到0.0.0.0:7860 –port 8888 将默认端口7

    2024年02月11日
    浏览(39)
  • Hadoop-5-HDFS常用命令

    第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类:空间大小查看系列命令: hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件

    2024年02月09日
    浏览(41)
  • HDFS常用命令(介绍超详细)

    第一步,首先使用命令启动你配置的Hadoop环境 第二步,启动完成之后就可以来练习你的HDFS常用命令了 首先,使用以下命令查看当前服务端HDFS根目录下的文件 (由于是新环境,执行完里面应该是什么都没有的)    第三步,如何在本地创建readme.txt文件并使用put命令上传到服务

    2024年02月02日
    浏览(41)
  • 【大数据】HDFS 的常用命令

    操作命令是以 hdfs dfs 开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制 、 删除 和 查找 等操作,Shell 命令的一般格式如下。 其中, hdfs 是 Hadoop 系统在 Linux 系统中的主命令; dfs 是子命令,表示执行文件系统操作;通用选项由 HDFS 文件操作命令和操作参数组成。

    2024年02月04日
    浏览(40)
  • HDFS操作常用的Shell命令

    目录 (1)   向HDFS 中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; (2)   从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名; (3)   将HDFS中指定文件的内容输出到终端中

    2023年04月10日
    浏览(40)
  • 最详细HDFS常用命令作用及截图

    Hdfs dfs -appendToFile:把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat :用于查看分布式文件系统中指定文件里面的内容; 两个命令在一个截图中 Hdfs dfs -checksum:用来查看指定文件的MD5值 Hdfs dfs -charp:对分布式文件系统中的文件进行授权给指定用户 Hdfs dfs -chmod   

    2024年02月12日
    浏览(44)
  • 大数据技术分享 4.HDFS常用命令

    觉得有用点个赞呗~ 常用命令: bin/hadoop fs commod bin/hdfs dfs -help rm hadoop fs -ls / hadoop fs -mkdir -p /opt/module/software (1)-help:输出这个命令参数 bin/hdfs dfs -help rm (2)-ls: 显示目录信息 hadoop fs -ls / (3)-mkdir:在hdfs上创建目录 hadoop fs -mkdir -p /aaa/cc (4)-moveFromLocal从本地剪切粘贴到

    2024年02月16日
    浏览(40)
  • Hadoop HDFS shell 命令行常用操作

    前言:Hadoop HDFS shell的命令和Linux的shell命令有类似的地方,基本上会使用Linux命令的话,把HDFS的理论理解一下就可以了。 一、创建文件夹  path为待创建的目录  -p选项的行为与unix mkdir -p类似,他会沿着路经创建父目录 二、查看指定目录下的内容  Path指定目录路径 -h人性化显

    2024年02月04日
    浏览(47)
  • 大数据:HDFS的Shell常用命令操作

    HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。 Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执

    2023年04月09日
    浏览(49)
  • 史上最全OpenCV常用方法及使用说明汇总,建议收藏!

    前言 : Hello大家好,我是小哥谈。 计算机视觉的基础首先是处理图像、视频这些非结构化的数据,而图像处理库比较常用和强大的有PIL、OpenCV模块,本节课主要讲述 OpenCV常用的方法及使用说明。  🌈      目录 🚀一、基本操作  🚀二、绘图 🚀三、阈值处理 🚀四、几何

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包