【Hadoop-HDFS】HDFS常用操作命令

这篇具有很好参考价值的文章主要介绍了【Hadoop-HDFS】HDFS常用操作命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1)显示目录信息(-ls)

hadoop fs -ls /

1)在 HDFS 上创建目录(-mkdir)

普通创建:hadoop fs -mkdir /xiaolin

递归创建:hadoop fs -mkdir -p /xiaolin/xiaoyin

2)从本地剪切文件粘贴到 HDFS 上(-moveFromLocal)

mkdir xuan.txt

hadoop fs -moveFromLocal xuan.txt /xiaolin

3)把本地文件复制到 HDFS 上(-copyFromLocal 或者 -put)

hadoop fs -copyFromLocal xuan.txt /

hadoop fs -put xuan.txt /

  • 文件名称相同时覆盖hdfs上的文件:-f

hadoop fs -put -f xuan.txt /

4)从 HDFS 复制文件到本地上(-copyToLocal 或者 -get)

hadoop fs -copyToLocal /xiaolin ./

hadoop fs -get /xiaolin ./

5)在 HDFS 里拷贝文件路径到另一个路径上(-cp)

hadoop fs -mkdir /xiaona

hadoop fs -cp /xiaolin/xuan.txt /xiaona/

6)追加文件到 HDFS 里的文件末尾(-appendToFile)

vim zero.txt

hadoop fs -appendToFile zero.txt /xiaolin/xuan.txt

7)显示文件内容(-cat)

hadoop fs -cat /xiaolin/xuan.txt

8)修改文件所属权限(-chmod)

hadoop fs -chmod 777 /xiaolin/xuan.txt

9)移动文件(-mv)

hadoop fs -mv /xiaolin/xuan.txt /xiaolin/xiaoyin

10)从 HDFS 里合并下载多个文件到本地(-getmerge)

hadoop fs -getmerge /xiaolin/* ./

11)删除文件或文件夹(-rm)

hadoop fs -rm /xiaolin/xiaoyin

12)设置 HDFS 中文件的副本数量(-setrep)

hadoop fs -setrep 5 /xiaolin/xuan.txt

13)查看 HDFS 目录数据量(-du)

Usage:hdfs dfs -du [-s] [-h] URI [URI …]

-s选项将显示文件长度的汇总摘要,而不是单个文件。

-h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)

14)创建一个零长度的文件(-touchz)

hdfs dfs -touchz URI [URI …]

15)显示文件所占块数(-stat)

Usage:hdfs dfs -stat URI [URI …]

(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)

16)显示文件的最后1kb内容到标准输出(-tail)

Usage:hdfs dfs -tail [-f] URI

17)统计与指定文件模式匹配的路径下的目录文件和字节数(-count)

Usage: hdfs dfs -count [-q] [-h] < paths>

18)从 HDFS 上过滤包含某个字符的行内容(-grep)

Usage:hdfs dfs -cat < srcpath> | grep 过滤字段文章来源地址https://www.toymoban.com/news/detail-448809.html

到了这里,关于【Hadoop-HDFS】HDFS常用操作命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

    视频地址: 尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】 尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】 尚硅谷

    2023年04月08日
    浏览(67)
  • hadoop-hdfs分布式文件系统理论(一)

    可以更好的支持分布式计算。 hadoop distribute file system是一个分布式 文件系统,操作的是文件,增、删都是以文件为单位。 文件线性按字节切割成块(block),具有offset,id offset是指block的偏移量,比如block大小是10,offset可以是0,10,20,30。。。 id是block的名称,比如block1,block

    2024年02月11日
    浏览(33)
  • Hadoop-5-HDFS常用命令

    第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类:空间大小查看系列命令: hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件

    2024年02月09日
    浏览(32)
  • Hadoop-HDFS详解与HA,完全分布式集群搭建(细到令人发指的教程)

    本篇篇幅较长,有许多集群搭建干货,和枯燥乏味但是面试可能问到的理论知识。 思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧。 目录 一、引入 hdfs是什么 hdfs的由来 hdfs架构体系 hdfs的优缺点 优点 缺点 二、HDFS_block简介和注意

    2023年04月19日
    浏览(43)
  • Hadoop -HDFS常用操作指令

    path 指定目录路径 -h 人性化显示文件size -R 递归查看指定目录及其子目录 -f 覆盖目标文件(已存在下) -p 保留访问和修改时间,所有权和权限。 localsrc 本地文件系统(客户端所在机器 ) dst 目标文件系统(HDFS) 下载文件到本地文件系统指定目录,localdst必须是目录 -f 覆盖目

    2024年02月10日
    浏览(32)
  • Hadoop3教程(三):HDFS文件系统常用命令一览

    hdfs命令的完整形式: 其中subcommand有三种形式: admin commands client commands:如本节重点要讲的dfs daemon commands dfs(文件系统命令),这个是HDFS里,日常使用 最为频繁的一种命令 ,用来在HDFS的文件系统上运行各种文件系统命令,如查看文件、删除文件等。 基本语法: 这俩基本

    2024年02月06日
    浏览(43)
  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(35)
  • 大数据技术之Hadoop:使用命令操作HDFS(四)

    目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八、HDFS数据删除操作 九、HDFS的其他命令 十、hdfs web查看目录 十一、HDFS客户端工具 11.1 下载插件 11.2 本地安装Had

    2024年02月09日
    浏览(33)
  • Hadoop原理与技术——hdfs命令行基本操作

    点击链接查看文档 一、实验目的 熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:hdfs常见命令: (1)查看帮助:hdfs dfs -help (2)查看当前目录信息:hdfs dfs -ls / (3)创建文件夹:hdfs dfs -mkdir /文件夹名 (4)上传文件:

    2023年04月16日
    浏览(32)
  • Hadoop 使用Linux操作系统与Java熟悉常用的HDFS操作

    注意看评论区获取完整代码资料 目录 一、实验目的 二、实验平台 三、实验步骤 理解HDFS在Hadoop体系结构中的角色; 熟练使用HDFS操作常用的Shell命令; 熟悉HDFS操作常用的Java API。 操作系统:Linux(建议Ubuntu16.04); Hadoop版本:2.7.1; JDK版本:1.8或以上版本; Java IDE:Eclipse。

    2024年02月03日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包