大数据:HDFS的Shell常用命令操作

这篇具有很好参考价值的文章主要介绍了大数据:HDFS的Shell常用命令操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


一 HDFS的Shell介绍

HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。

Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作,Shell分为图形界面Shell和命令行式Shell。

文件系统(FS)Shell包含了各种的类Shell的命令,可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。

三种Shell命令方式
命令 适用场合
hadoop fs 适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
hadoop dfs 只能适用于HDFS文件系统
hdfs dfs hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统

二 HDFS常用命令操作

启动hadoop集群
大数据:HDFS的Shell常用命令操作

01 创建目录

(1)创建单层目录

输入命令:hdfs dfs -mkdir /ied大数据:HDFS的Shell常用命令操作
在Hadoop WebUI查看创建的目录
大数据:HDFS的Shell常用命令操作

(3)创建多层目录

输入命令:hdfs dfs -mkdir /love/books,会报错,因为/love目录不存在
大数据:HDFS的Shell常用命令操作
这里可以先创建 /luzhou 目录,然后在里面再创建 lzy 子目录,但是想要一步到位,就只需要一个 -p 参数即可。

输入命令:hdfs dfs -mkdir -p /luzhou/lzy
大数据:HDFS的Shell常用命令操作
在Hadoop WebUI查看创建的多层目录
大数据:HDFS的Shell常用命令操作

02 查看目录

输入命令:hdfs dfs -ls /,查看根目录(可以在任何节点上查看,结果均一样)。
大数据:HDFS的Shell常用命令操作
大数据:HDFS的Shell常用命令操作

输入命令:hdfs dfs -ls /love
大数据:HDFS的Shell常用命令操作

注:如果我们要查看根目录里全部的资源,那么要用到递归参数-R(必须大写)。

执行命令:hdfs dfs -ls -R /,递归查看/目录(采用递归算法遍历树结构)
大数据:HDFS的Shell常用命令操作

03 上传本地文件到HDFS

创建一个本地目录:/document/txt,输入命令:mkdir -p /document/txt
大数据:HDFS的Shell常用命令操作
/txt目录下创建一个test.txt文件,输入命令(>:重定向命令):echo "hello hadoop world" > /document/txt/test.txt
大数据:HDFS的Shell常用命令操作
查看test.txt文件内容,输入命令:cat /document/txt/test.txt
大数据:HDFS的Shell常用命令操作上传test.txt文件到HDFS的/ied目录,输入命令:hdfs dfs -put /document/txt/test.txt /ied
大数据:HDFS的Shell常用命令操作在Hadoop WebUI界面查看是否上传成功
大数据:HDFS的Shell常用命令操作

04 查看文件内容

输入命令:hdfs dfs -cat /ied/test.txt
大数据:HDFS的Shell常用命令操作

05 下载HDFS文件到本地

1.删除本地的 /document/txt/ 目录下的 test.txt 文件,输入命令:rm -rf /document/txt/test.txt
大数据:HDFS的Shell常用命令操作2.下载HDFS文件系统的 /ied/test.txt 到本地当前目录不改名,输入命令:hdfs dfs -get /ied/test.txt /document/txt/
大数据:HDFS的Shell常用命令操作3.检查是否下载成功,输入命令:ll /document/txt/test.txt
大数据:HDFS的Shell常用命令操作可以将HDFS上的文件下载到本地指定位置,并且可以更改文件名,输入命令:hdfs dfs -get /ied/test.txt /document/txt/exam.txt
大数据:HDFS的Shell常用命令操作
检查是否下载成功,输入命令:ll /document/txt/exam.txt
大数据:HDFS的Shell常用命令操作

06 删除HDFS文件

输入命令:hdfs dfs -rm /ied/test.txt
大数据:HDFS的Shell常用命令操作
检查是否删除成功,输入命令:hdfs dfs -ls /ied/test.txt
大数据:HDFS的Shell常用命令操作
使用通配符,可以删除满足一定特征的文件
大数据:HDFS的Shell常用命令操作大数据:HDFS的Shell常用命令操作
大数据:HDFS的Shell常用命令操作

07 删除HDFS目录

输入命令:hdfs dfs -rmdir /yibin
大数据:HDFS的Shell常用命令操作
输入命令:hdfs dfs -rmdir /love
大数据:HDFS的Shell常用命令操作

提示: -rmdir 命令删除不了非空目录。
要递归删除才能删除非空目录:hdfs dfs -rm -r /love(-r:recursive)

大数据:HDFS的Shell常用命令操作

08 移动目录或文件

-mv 命令兼有移动与改名的双重功能
/ied 目录更名为 /ied01,输入命令:hdfs dfs -mv /ied /ied01
大数据:HDFS的Shell常用命令操作

在Hadoop WebUI查看是否更名成功
大数据:HDFS的Shell常用命令操作/ied01/exam.txt更名为/ied01/test.txt,输入命令:hdfs dfs -mv /ied01/exam.txt /ied01/test.txt
大数据:HDFS的Shell常用命令操作查看改名后的test.txt文件内容,输入命令:hdfs dfs -cat /ied01/test.txt
大数据:HDFS的Shell常用命令操作创建/ied02目录,将ied01/test.txt移动到/ied02目录,并且改名为exam.txt
创建ied02目录,输入命令:hdfs dfs -mkdir /ied02
大数据:HDFS的Shell常用命令操作

移动改名,输入命令:hdfs dfs -mv /ied01/test.txt /ied02/exam.txt
大数据:HDFS的Shell常用命令操作在Hadoop WebUI界面查看
大数据:HDFS的Shell常用命令操作大数据:HDFS的Shell常用命令操作

09 文件合并下载

/document/txt/目录下创建sport.txt、music.txt和book.txt并上传
大数据:HDFS的Shell常用命令操作大数据:HDFS的Shell常用命令操作
大数据:HDFS的Shell常用命令操作在Hadoop WebUI界面查看上传的三个文件,注意文件名是按字典排序了的
大数据:HDFS的Shell常用命令操作合并/ied01目录的文件下载到/document/txt目录的merger.txt,输入命令:hdfs dfs -getmerge /ied01/* /document/txt/merger.txt

大数据:HDFS的Shell常用命令操作查看本地的merger.txt,看是不是三个文件合并后的内容,输入命令:cat /document/txt/merger.txt
大数据:HDFS的Shell常用命令操作
由上图可知,merger.txtbook.txtmusic.txtsport.txt合并后的结果

10 检查文件信息

fsck: file system check —— 文件系统检查

检查/ied01/book.txt文件,输入命令:hdfs fsck /ied01/book.txt -files -blocks -locations -racks
大数据:HDFS的Shell常用命令操作
已知HDFS里一个文件块是128MB,上传一个大于128MB的文件,hadoop-3.3.4.tar.gz大约663.24MB
大数据:HDFS的Shell常用命令操作

128MB×5=640MB<663.24MB<768MB=128MB×6 ,HDFS会将hadoop-3.3.4.tar.gz分割成6块

输入命令:hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01,将hadoop压缩包上传到HDFS的/ied01目录
大数据:HDFS的Shell常用命令操作
查看HDFS上hadoop-3.3.4.tar.gz文件信息,输入命令:hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks
大数据:HDFS的Shell常用命令操作在Hadoop WebUI来查看文件块信息更加方便,总共有6个文件块:Block0、Block1、Block2、Block3、Block4、Block5
大数据:HDFS的Shell常用命令操作第1个文件块信息
大数据:HDFS的Shell常用命令操作第6个文件块信息
大数据:HDFS的Shell常用命令操作

11 创建时间戳文件

/ied01目录里创建一个文件sunshine.txt,执行命令:hdfs dfs -touchz /ied01/sunshine.txt
大数据:HDFS的Shell常用命令操作在Hadoop WebUI来查看到创建的是一个空文件,大小为0字节
大数据:HDFS的Shell常用命令操作
这种空文件,一般用作标识文件,也可叫做时间戳文件,再次在/ied01目录下创建sunshine.txt同名文件
大数据:HDFS的Shell常用命令操作

说明:如果touchz命令的路径指定的文件不存在,那就创建一个空文件;如果指定的文件存在,那就改变该文件的时间戳。

12 复制文件或目录

cp: copy - 拷贝或复制

(1)同名复制文件

/ied01/music.txt复制到/ied02里,输入命令:hdfs dfs -cp /ied01/music.txt /ied02
大数据:HDFS的Shell常用命令操作查看拷贝生成的文件
大数据:HDFS的Shell常用命令操作

(2)改名复制文件

/ied01/book.txt复制到/ied02目录,改名为read.txt,输入命令:hdfs dfs -cp /ied01/book.txt /ied02/read.txt
大数据:HDFS的Shell常用命令操作查看拷贝后的文件内容,输入命令:hdfs dfs -cat /ied02/read.txt
大数据:HDFS的Shell常用命令操作

源文件book.txt依然存在
大数据:HDFS的Shell常用命令操作

(3)复制目录

/ied01目录复制到/ied03目录,输入命令:hdfs dfs -cp /ied01 /ied03
大数据:HDFS的Shell常用命令操作
查看拷贝后的/ied03目录,输入命令:hdsf dfs -ls /ied03, 其内容跟/ied01完全相同
大数据:HDFS的Shell常用命令操作

13 查看文件大小

du: disk usage
输入命令:hdfs dfs -du /ied01/book.txt
大数据:HDFS的Shell常用命令操作大数据:HDFS的Shell常用命令操作
可以看到文件/ied01/book.txt大小是12个字符,包含9个字母、2个空格和一个看不见的结束符

14 上传文件

-copyFromLocal类似于-put,输入命令:hdfs dfs -copyFromLocal merger.txt /ied02
大数据:HDFS的Shell常用命令操作
查看是否上传成功,输入命令:hdfs dfs -ls /ied02
大数据:HDFS的Shell常用命令操作

15 下载文件

-copyToLocal类似于-get,执行命令:hdfs dfs -copyToLocal /ied01/sunshine.txt /document/txt/sunlight.txt
大数据:HDFS的Shell常用命令操作查看是否下载成功,输入命令:ll /document/txt/
大数据:HDFS的Shell常用命令操作

16 查看某目录下文件个数

输入命令:hdfs dfs -count /ied01
大数据:HDFS的Shell常用命令操作

17 检查hadoop本地库

输入命令:hadoop checknative -a
大数据:HDFS的Shell常用命令操作
查看hadoop本地库文件
大数据:HDFS的Shell常用命令操作

18 进入和退出安全模式

(1)进入安全模式

输入命令:hdfs dfsadmin -safemode enter,

注意:进入安全模式之后,只能读不能写

大数据:HDFS的Shell常用命令操作

此时,如果要创建目录,就会报错
大数据:HDFS的Shell常用命令操作

(2)退出安全模式

输入命令:hdfs dfsadmin -safemode leave
大数据:HDFS的Shell常用命令操作此时,创建目录/ied04就没有任何问题
大数据:HDFS的Shell常用命令操作文章来源地址https://www.toymoban.com/news/detail-407105.html

到了这里,关于大数据:HDFS的Shell常用命令操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(50)
  • 熟悉常用的HDFS操作(附录HDFS常用命令)

    1、理解HDFS在Hadoop体系结构中的角色; 2、熟练使用HDFS操作常用的Shell命令; 3、熟悉HDFS操作常用的Java API 1、编程实现指定功能,并利用Hadoop提供的Shell命令完成相同任务: 2、编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”。 编程实现以下指定

    2023年04月09日
    浏览(43)
  • HDFS常用命令(介绍超详细)

    第一步,首先使用命令启动你配置的Hadoop环境 第二步,启动完成之后就可以来练习你的HDFS常用命令了 首先,使用以下命令查看当前服务端HDFS根目录下的文件 (由于是新环境,执行完里面应该是什么都没有的)    第三步,如何在本地创建readme.txt文件并使用put命令上传到服务

    2024年02月02日
    浏览(41)
  • Hadoop的安装和使用,Windows使用shell命令简单操作HDFS

    目录 1,Hadoop简介 2,分布式文件系统HDFS 1. HDFS简介 2.HDFS体系结构 3,Hadoop的安装 1.使用WEB管理页面操作HDFS 2.使用命令操作HDFS  4,HDFS的基本使用方法 1)启动hadoop,为当前登录的Windows用户在HDFS中创建用户目录 2)在用户名user/zhangna下创建test目录 3)将windows操作系统本地的一个

    2024年02月04日
    浏览(50)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(51)
  • Hadoop大数据技术-通过shell命令访问HDFS

    HDFS shell大致可以分为操作命令、管理命令、其他命令三类。 注意:当命令以“$”开头时,当前用户为普通用户;以“#”开头时,当前用户为root用户。 操作命令是以“ hdfs dfs ”开头的命令,用户可以通过执行这些命令,完成对文件的查找、上传、删除等操作。 [-p]:表示如

    2023年04月11日
    浏览(43)
  • 大数据课堂笔记 HDFS的shell操作

    一、HDFS常用命令操作实战 启动Hadoop集群 执行命令    start-yarn.sh  1.创建目录 (1).单层目录 执行命令  hdfs dfs -mkdir /ied  利用WebUI查看创建的目录 (2).创建多层目录 执行命令  hdfs dfs -mkdir -p /luzhou/lzy  利用WebUI查看创建的多层目录  2.查看目录 执行命令  hdfs dfs -ls /         

    2024年02月09日
    浏览(44)
  • 0202hdfs的shell操作-hadoop-大数据学习

    以下命令执行默认配置了hadoop的环境变量,且使用新命令。 一键启停脚本 独立进程启停 2.1 HDFS文件系统基本信息 HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。 HDFS同Linux系统一样,均是以/作为根目录的组织形式 如何区分

    2024年02月10日
    浏览(51)
  • linux shell操作- 02 常用命令及案例

    linux发行版的工具 Ubuntu 包管理器 apt CentOS包管理器 yum OpenSUSE包管理器zypper 包管理器使用 rpm软件包的安装 路径切换管理 两个目录间来回切换使用 cd - ; 多个目录来回切换, pushd入栈 ; pushd dir1; pushd dir2; pushd +0; 切到栈顶目录 ; pushd +1; 从栈顶依次向下走一步; popd 出栈; 查

    2024年02月07日
    浏览(29)
  • Hadoop HDFS分布式文件系统(介绍以及基础操作命令)

    目录 一、为什么需要分布式存储? 二、分布式的基础架构分析  三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操作命令 1.创建文件夹  2.查看指定目录下内容  3.上传文件到HDFS指定目录下  4.查看HDFS文件内容 5.下载HDFS文件  6.拷贝

    2024年02月05日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包