HDFS 基本 shell 操作

这篇具有很好参考价值的文章主要介绍了HDFS 基本 shell 操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.1 创建目录

调用格式:

hdfs dfs -mkdir (-p)  /目录

例如:

hdfs dfs -mkdir /data
hdfs dfs -mkdir -p /data/a/b/c

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.2 上传指令

调用格式:

hdfs dfs -put /本地文件  /分布式文件系统路径

注意: 直接写/是省略了文件系统的名称hdfs://ip:port。
例如:

hdfs dfs -put /root/a.txt /data/    # root 下的 a.txt 上传到 /data
hdfs dfs -put /root/logs/* /data/   # logs 下的所有文件上传到 /data

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.3 创建空文件

调用格式:

hdfs dfs -touchz  /系统路径/文件名

例如:

hdfs dfs -touchz  /hadooptest.txt

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.4 向分布式文件系统中的文件里追加内容

调用格式:

hdfs dfs -appendToFile  本地文件     hdfs上的文件
注意:
1)不支持在中间随意增删改操作
2)往空文件中追加就相当于直接写文件,所以能追加进去

本地文件 hello1.txt 的内容追加到 hdfs 文件 hello.txt 的后面操作如下:

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
原 hello.txt:hello world
原 hello1.txt:hello
追加的 hello.txt 中内容如下

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.5 查看指令

查看分布式文件系统的目录里内容

调用格式:hdfs dfs -ls /

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

查看分布式文件系统的文件内容

调用格式:hdfs dfs -cat /xxx.txt

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

查看分布式文件系统的文件内容

调用格式:hdfs dfs -tail /xxx.txt
注意:默认最多查看1000行

1.6 下载指令

hdfs dfs -copyToLocal  hdfs上的文件 本地路径
注意:本地路径的文件夹可以不存在
hdfs dfs -moveToLocal hdfs上的文件 本地路径
注意:从hdfs的某个路径将数据剪切到本地,已经被遗弃了
hdfs dfs -get hdfs上的文件 本地路径
调用格式:同copyToLoca

1.7 合并下载

调用格式:hdfs dfs -getmerge  hdfs上面的路径   本地的路径    
实例:hdfs dfs -getmerge /data/*.txt /root/c.txt(将hdfs上的a.txt和b.txt文件合并为c.txt保存在本地root目录下)

1.8 移动hdfs中的文件

调用格式:hdfs dfs -mv /hdfs的路径1  /hdfs的另一个路径2    
实例:hfds dfs -mv /aaa   /bbb  这里是将aaa整体移动到bbb中

原来目录如下:

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
把根目录下的 hello1 移动到 /data/ 后的目录如下

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.9 复制hdfs中的文件到hdfs的另一个目录

调用格式:hdfs dfs -cp 原路径  想要复制到的路径

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.10 删除命令

hfds dfs -rm [-f] [-r|-R] [-skipTrash] <src> ...
注意:如果删除文件夹需要加-r

hfds dfs -rmdir [--ignore-fail-on-non-empty] <dir> ...
注意:必须是空文件夹,如果非空必须使用rm删除

1.11 查看磁盘利用率和文件大小

hfds dfs -df [-h] [<path> ...]]     #查看分布式系统的磁盘使用情况
hfds dfs -du [-s] [-h] <path> ...	#查看分布式系统上当前路径下文件的情况	-h:human 以人类可读的方式显示

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据
hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.12 修改权限

跟本地的操作一致,-R是让子目录或文件也进行相应的修改

hfds dfs -chgrp [-R] GROUP PATH...
hfds dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...
hfds dfs -chown [-R] [OWNER][:[GROUP]] PATH...

1.13 修改文件的副本数

调用格式:hadoop fs -setrep  3 /   将hdfs根目录及子目录下的内容设置成3个副本
注意:当设置的副本数量与初始化时默认的副本数量不一致时,集群会作出反应,比原来多了会自动进行复制.

1.14 查看文件的状态

命令的作用:当向hdfs上写文件时,可以通过dfs.blocksize配置项来设置文件的block的大小。这就导致了hdfs上的不同的文件block的大小是不相同的。有时候想知道hdfs上某个文件的block大小,可以预先估算一下计算的task的个数。stat的意义:可以查看文件的一些属性。

调用格式:hdfs dfs -stat [format] 文件路径
format的形式:
%b:打印文件的大小(目录大小为0)
%n:打印文件名
%o:打印block的size
%r:打印副本数
%y:utc时间 yyyy-MM-dd HH:mm:ss
%Y:打印自1970年1月1日以来的utc的微秒数
%F:目录打印directory,文件打印regular file
注意:
# 当使用-stat命令但不指定format时,只打印创建时间,相当于%y
# -stat 后面只跟目录,%r,%o等打印的都是0,只有文件才有副本和大小

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据

1.15 测试

参数说明: 
-e:文件是否存在  存在返回0    
-z:文件是否为空  为空返回0   
-d:是否是路径(目录) ,是返回0
调用格式:hdfs dfs -test -d 文件 
实例:hdfs dfs -test -d /data/hello.txt  && echo "OK"  || echo "no"
解释:测试当前的内容是否是文件夹 ,如果是返回ok,如果不是返回no

hdfs上传文件命令,Hadoop,笔记,Linux,hdfs,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-607021.html

到了这里,关于HDFS 基本 shell 操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop——HDFS的Java API操作(文件上传、下载、删除等)

    1、创建Maven项目 2、修改pom.xml文件 3、添加四个配置文件 为避免运行的一些错误,我们将Hadoop的四个重要配置文件添加到resources中 4、创建测试文件JavaAPI 5、初始化 因为对文件的操作我们都需要获取hdfs对象和关闭对象,所以为避免重复编写,将两个操作对立成单独方法,分别

    2024年02月06日
    浏览(69)
  • Hadoop HDFS分布式文件系统(介绍以及基础操作命令)

    目录 一、为什么需要分布式存储? 二、分布式的基础架构分析  三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操作命令 1.创建文件夹  2.查看指定目录下内容  3.上传文件到HDFS指定目录下  4.查看HDFS文件内容 5.下载HDFS文件  6.拷贝

    2024年02月05日
    浏览(71)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(47)
  • hadoop基础:通过 Shell 命令访问 HDFS

    HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为 操作命令 、 管理命令 、 其他命令 三类 操作命令是以“ hdfs dfs ”开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制、删除和查找 等操作,Shell 命令的一般格式如下。 hdfs dfs [通用选项] 其中,hdfs

    2023年04月08日
    浏览(47)
  • 【Hadoop】-HDFS的Shell操作[3]

    目录 前言 一、HDFS集群启停命令 1.一键启停脚本可用 2.独立进程启停可用  二、文件系统操作命令 1、创建文件夹 2、查看指定目录下内容 3、上传文件到HDFS指定目录下  4、查看HDFS文件内容 5、下载HDFS文件 6、拷贝HDFS文件 7、追加数据到HDFS文件中 8、HDFS数据移动操作 9、HDFS数

    2024年04月26日
    浏览(46)
  • Hadoop大数据技术-通过shell命令访问HDFS

    HDFS shell大致可以分为操作命令、管理命令、其他命令三类。 注意:当命令以“$”开头时,当前用户为普通用户;以“#”开头时,当前用户为root用户。 操作命令是以“ hdfs dfs ”开头的命令,用户可以通过执行这些命令,完成对文件的查找、上传、删除等操作。 [-p]:表示如

    2023年04月11日
    浏览(45)
  • Hadoop Hdfs基本命令

    1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 1.hadoop安装问题处理 如果安装有进程无法启动,如下图 重新检查6个配置文件 Core-site.xml hdfs-site.xml hadoop-env.sh yarn-site.xml workers yarn-site.xml 来到hadoop313目录 清空data和yarndata 重新初始化 测试 2.hadoop hdfs基本命

    2024年02月11日
    浏览(42)
  • HDFS 基本 shell 操作

    调用格式: 例如: 调用格式: 注意: 直接写/是省略了文件系统的名称hdfs://ip:port。 例如: 调用格式: 例如: 调用格式: 本地文件 hello1.txt 的内容追加到 hdfs 文件 hello.txt 的后面操作如下: 原 hello.txt:hello world 原 hello1.txt:hello 追加的 hello.txt 中内容如下 查看分布式文件系统的目录

    2024年02月15日
    浏览(51)
  • 0202hdfs的shell操作-hadoop-大数据学习

    以下命令执行默认配置了hadoop的环境变量,且使用新命令。 一键启停脚本 独立进程启停 2.1 HDFS文件系统基本信息 HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。 HDFS同Linux系统一样,均是以/作为根目录的组织形式 如何区分

    2024年02月10日
    浏览(53)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包