HDFS操作常用的Shell命令

这篇具有很好参考价值的文章主要介绍了HDFS操作常用的Shell命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

(1)   向HDFS 中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;

(2)   从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;

(3)   将HDFS中指定文件的内容输出到终端中;

(4)   显示 HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;

(5)   给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;

(6)   提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;

(7)   提供一个 HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;

(8)   向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;

(9)   删除HDFS中指定的文件;

(10) 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;

(11) 在 HDFS 中,将文件从源路径移动到目的路径。


准备工作

加入环境变量

$ export PATH=$PATH:/usr/local/hadoop/bin

路径是hadoop安装路径下的bin

开启hadoop服务

$ ./sbin/start-dfs.sh

HDFS操作常用的Shell命令

创建两个文件

echo “hello local”  > local.txt

echo  “hello cloud”  > cloud.txt

HDFS操作常用的Shell命令

(1)   向HDFS 中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;

上传cloud.txt文档

$ hadoop fs -put cloud.txt

将local.txt内容追加到cloud.txt末尾

$ hadoop fs -appendToFile local.txt cloud.txt

HDFS操作常用的Shell命令

将local.txt内容覆盖到cloud.txt

$ hadoop fs -copyFromLocal -f local.txt cloud.txt

HDFS操作常用的Shell命令

(2)   从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;

$ if $(hadoop fs -test -e file:///usr/local/hadoop/cloud/txt);#如果cloud.txt文件存在

> then $(hadoop fs -copyToLocal cloud.txt ./cloud2.txt);#重命名为cloud2.txt

> else $(hadoop fs -copyToLocal cloud.txt ./cloud.txt);#否则为cloud.txt

> fi

HDFS操作常用的Shell命令

HDFS操作常用的Shell命令

(3)   将HDFS中指定文件的内容输出到终端中;

$ hadoop fs -cat cloud.txt

HDFS操作常用的Shell命令

(4)   显示 HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;

$ hadoop fs -ls -h cloud.txt

HDFS操作常用的Shell命令

(5)   给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;

$ hadoop fs -ls -R -h /user/hadoop

HDFS操作常用的Shell命令

(6)   提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;

$ if $(hadoop fs -test -d test1/test2);

then $(hadoop fs -touch test1/test2/test.txt);
else $(hadoop fs -mkdir -p test1/test2 && hadoop fs -touch test1/test2/test.txt);
fi
$ hadoop fs -rm test1/test2/test.text #删除文件

HDFS操作常用的Shell命令

HDFS操作常用的Shell命令

(7)   提供一个 HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;

#创建目录

$ hadoop fs -mkdir -p test1/test2

#删除目录

$ hadoop fs -rmdir test1/test2

#目录有文件时删除

$ hadoop fs -rm -R test1/test2

HDFS操作常用的Shell命令

HDFS操作常用的Shell命令

(8)   向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;

追加文件开头

$ hadoop fs -get cloud.txt

$ cat cloud.txt >> local.txt

$ hadoop fs -copyFromLocal -f local.txt cloud.txt

HDFS操作常用的Shell命令

追加文件末尾

$ hadoop fs -appendToFile local.txt cloud.txt

HDFS操作常用的Shell命令

(9)   删除HDFS中指定的文件;

$ hadoop fs -rm test.txt

HDFS操作常用的Shell命令

(10) 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;

$ hadoop fs -rm -r test1/test2

HDFS操作常用的Shell命令

(11) 在 HDFS 中,将文件从源路径移动到目的路径。

$ hadoop fs -mv cloud.txt ./cloud3.txt

HDFS操作常用的Shell命令文章来源地址https://www.toymoban.com/news/detail-409499.html

到了这里,关于HDFS操作常用的Shell命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • shell命令之文件目录常用命令

    1.1返回到某一级目录 dirName1、dirName2、dirName3表示某一目录; 1.2返回到上级目录 也可以写成: 1.3返回到家目录 1.4返回上一次目录 2.1查看当前目录 显示当前目录下的文件和目录; -l 列出文件和目录的详细信息,可缩写成ll; -a 列出当前目录下所有文件及目录,包括隐藏的文件或

    2024年02月06日
    浏览(38)
  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(50)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(44)
  • 熟悉常用的HDFS操作(附录HDFS常用命令)

    1、理解HDFS在Hadoop体系结构中的角色; 2、熟练使用HDFS操作常用的Shell命令; 3、熟悉HDFS操作常用的Java API 1、编程实现指定功能,并利用Hadoop提供的Shell命令完成相同任务: 2、编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”。 编程实现以下指定

    2023年04月09日
    浏览(43)
  • 实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)

    理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的shell命令 熟悉HDFS操作常用的Java API 操作系统:CentOS 8 Hadoop版本:3.3.1 jdk版本:1.8 Java IDE:Eclipse 1. 使用Hadoop命令操作分布式文件系统。 新建目录 在本地和hadoop中分别创建文件夹: 在本地创建目录: Hadoop创建目录: 上

    2023年04月08日
    浏览(57)
  • Hadoop的安装和使用,Windows使用shell命令简单操作HDFS

    目录 1,Hadoop简介 2,分布式文件系统HDFS 1. HDFS简介 2.HDFS体系结构 3,Hadoop的安装 1.使用WEB管理页面操作HDFS 2.使用命令操作HDFS  4,HDFS的基本使用方法 1)启动hadoop,为当前登录的Windows用户在HDFS中创建用户目录 2)在用户名user/zhangna下创建test目录 3)将windows操作系统本地的一个

    2024年02月04日
    浏览(50)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(51)
  • Shell脚本常用命令及如何通过shell脚本实现服务器上文件的上传和下载

    Shell脚本常用命令 简介 1、什么是shell: Shell 是一个用 C 语言编写的应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。Shell 脚本(shell script),是一种为 shell 编写的脚本程序,扩展名为.sh。 2、如何编写shell脚本: 文本编辑器(可以使用

    2024年02月03日
    浏览(69)
  • 【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在

    本文主要讲述如何使用 Shell 脚本判断 HDFS 文件或目录是否存在,算是一个小技巧吧,这几天做 distcp 的时候用到的,因为要判断 HDFS 中是否存在某个目录。 Shell脚本测试: 1、测试路径是否存在。 2、测试目录是否存在。 3、测试文件是否存在。 4、测试路径大小是否大于0。

    2023年04月24日
    浏览(79)
  • linux shell操作- 02 常用命令及案例

    linux发行版的工具 Ubuntu 包管理器 apt CentOS包管理器 yum OpenSUSE包管理器zypper 包管理器使用 rpm软件包的安装 路径切换管理 两个目录间来回切换使用 cd - ; 多个目录来回切换, pushd入栈 ; pushd dir1; pushd dir2; pushd +0; 切到栈顶目录 ; pushd +1; 从栈顶依次向下走一步; popd 出栈; 查

    2024年02月07日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包