HDFS的Shell操作

这篇具有很好参考价值的文章主要介绍了HDFS的Shell操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、进程启停管理

(一)一键启停脚本

(二)单进程启停

二、文件系统操作命令

(一)HDFS文件系统基本信息

1.前置介绍

(二)命令介绍

1.新旧版本命令介绍

2.创建文件夹

3.查看指定目录下内容

4.上传文件到HDFS指定目录下

5.查看HDFS文件内容

6.下载HDFS文件

7.拷贝HDFS文件

9.HDFS数据移动操作

10.HDFS数据删除操作

11.HDFS shell其它命令

12.HDFS WEB浏览


一、进程启停管理

(一)一键启停脚本

Hadoop HDFS组件内置了HDFS集群的一键启停脚本。

$HADOOP_HOME/sbin/start-dfs.sh,一键启动HDFS集群

执行原理:

1.在执行此脚本的机器上,启动SecondaryNameNode

2.读取core-site.xml内容(fs.defaultFS项),确认NameNode所在机器,启动NameNode

3.读取workers内容,确认DataNode所在机器,启动全部DataNode

$HADOOP_HOME/sbin/stop-dfs.sh,一键关闭HDFS集群

执行原理:

1.在执行此脚本的机器上,关闭SecondaryNameNode

2.读取core-site.xml内容(fs.defaultFS项),确认NameNode所在机器,关闭NameNode

3.读取workers内容,确认DataNode所在机器,关闭全部NameNode

(二)单进程启停

除了一键启停外,也可以单独控制进程的启停。

1. $HADOOP_HOME/sbin/hadoop-daemon.sh,此脚本可以单独控制所在机器的进程的启停

用法:hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

2. $HADOOP_HOME/bin/hdfs,此程序也可以用以单独控制所在机器的进程的启停

用法:hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

二、文件系统操作命令

(一)HDFS文件系统基本信息

1.前置介绍

HDFS文件系统基本信息

HDFS作为分布式存储的文件系统,有其对数据的路径表达方式。

HDFS同Linux系统一样,均是以/作为根目录的组织形式

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

Linux: /usr/local/hello.txt

HDFS: /usr/local/hello.txt

如何区分呢?

Linux:file:///

HDFS:hdfs://namenode:port/

hdfs://就是hdfs文件系统的协议

namenode主机名 和 通讯端口

如上路径:

Linux:file:///usr/local/hello.txt

HDFS:hdfs://hp1:8020/usr/local/hello.txt

协议头file:/// 或 hdfs://hp1:8020/可以省略

需要提供Linux路径的参数,会自动识别为file://

除非你明确需要写或不写会有BUG,否则一般不用写协议头

(二)命令介绍

1.新旧版本命令介绍

关于HDFS文件系统的操作命令,Hadoop提供了2套命令体系

hadoop命令(老版本用法),用法:hadoop fs [generic options]

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

hdfs命令(新版本用法),用法:hdfs dfs [generic options]

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

两者在文件系统操作上,用法完全一致

用哪个都可以

某些特殊操作需要选择hadoop命令或hdfs命令

2.创建文件夹

hadoop fs -mkdir [-p] <path> ...

hdfs dfs -mkdir [-p] <path> ...

path 为待创建的目录

-p选项的行为与Linux mkdir -p一致,它会沿着路径创建父目录。

当前作为hadoop用户,没有权限在linu本地根目录下创建文件,所以路径改为home下的hadoop,这样就在linux本地创建了一个叫test的文件夹,因为我们使用的协议头是file:///

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

如果你要在整个hadoop中创建,应当这样写:

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

这样就是创建在我们hdfs里面的

协议头也是可以不用写的,像这样:

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

3.查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path> ...]

hdfs dfs -ls [-h] [-R] [<path> ...]

path 指定目录路径(你要查看的路径)

-h 人性化显示文件size

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

-R 递归查看指定目录及其子目录

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

不带 -R 就只能看到根下面有什么

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

4.上传文件到HDFS指定目录下

是从Linux到hdfs的过程

hadoop fs -put [-f] [-p] <localsrc> ... <dst>

hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

-f 覆盖目标文件(已存在下)

上传文件有冲突的话可以直接-f覆盖掉

-p 保留访问和修改时间,所有权和权限。

localsrc 本地文件系统(客户端所在机器)

dst 目标文件系统(HDFS)

在hadoop的home目录下创建一个文件夹

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

里面写上你想写的内容,然后保存退出

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

这个时候就可以看到我们home目录下面有我们刚刚创建的txt文件

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

现在我们要把这个文件上传到整个hadoop系统的根目录下面

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

我们再上传一个

先新建

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

可以看到本地有了该文件

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

此次上传不带协议头,可以发现仍旧上传成功

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

5.查看HDFS文件内容

hadoop fs -cat <src> ...

hdfs dfs -cat <src> ...

读取指定文件全部内容,显示在标准输出控制台。

读取大文件可以使用管道符配合more

hadoop fs -cat <src> | more

hdfs dfs -cat <src> | more

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

真正的生产环境中,数据量非常大,60GB都有可能,此时用cat看内容是输出不完整的,软件中断容易干崩溃。所以对于大文件来说,我们可以借用linux的管道符,给它一个more命令,more是Linux中对内容进行翻页的命令,然后按空格翻页

hadoop fs -cat /test.txt | more

补充一点:set nu 显示行号

6.下载HDFS文件

下载是hdfs向linux去下载

hadoop fs -get [-f] [-p] <src> ... <localdst>

hdfs dfs -get [-f] [-p] <src> ... <localdst>

下载文件到本地文件系统指定目录,localdst必须是目录

-f 覆盖目标文件(已存在下)

下载文件有冲突的话可以直接-f覆盖掉

-p 保留访问和修改时间,所有权和权限。

首先把我们linux本地的东西都删掉,ll 或者ls 查看会发现没有任何东西

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

再把hdfs的文件下载到linux本地

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

7.拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>

hdfs dfs -cp [-f] <src> ... <dst>

-f 覆盖目标文件(已存在下)

 <src>和 <dst>都是hdfs路径,所以这是hdfs对hdfs进行复制

 hadoop fs -cp /test.ext /home/

把test.ext复制到/home里面去

 hadoop fs -cp -f /ayu.ext /home/

-f 即强制覆盖

hadoop fs -cp -f /ayu.ext /home/abc.txt

cp同Linux一样兼具改名的效果,把test.ext复制到/home里面去并改名为abc.txt

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

8.追加数据到HDFS文件中

hdfs文件系统,还可以完成文件的修改工作。这个修改工作跟linux中的vim不一样,整个hdfs的文件修改只支持两种。第一种是直接删掉,第二种是追加内容。我们整个文件系统,只能够进行删除和追加,不能修改里面某一行或某一个字符。

hadoop fs -appendToFile <localsrc> ... <dst>

hdfs dfs -appendToFile <localsrc> ... <dst>

将所有给定本地文件的内容追加到给定dst文件。

dst如果文件不存在,将创建该文件。

如果<localSrc>为-,则输入为从标准输入中读取。

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

9.HDFS数据移动操作

hadoop fs -mv <src> ... <dst>

hdfs dfs -mv <src> ... <dst>

移动文件到指定文件夹下

可以使用该命令移动数据,重命名文件的名称

hadoop fs -mv /test.txt /bigdata/

把test.txt移动到/bigdata里面去

同时具有改名效果:

hadoop fs -mv /test.txt /bigdata/abc.txt

把test.txt移动到/bigdata里面并改名为abc.txt

HDFS的Shell操作,大数据,hdfs,hadoop,大数据HDFS的Shell操作,大数据,hdfs,hadoop,大数据

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

10.HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]

hdfs dfs -rm -r [-skipTrash] URI [URI ...]

删除指定路径的文件或文件夹

删文件 -rm

删文件夹 -rm -r

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

(此图由于网络超时没能传上来,将就看一下)

-skipTrash 跳过回收站,直接删除

回收站功能默认关闭,如果要开启需要在core-site.xml内配置:

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

<property>

<name>fs.trash.checkpoint.interval</name>

<value>120</value>

</property>

配置如下内容:

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

1440表示回收站的数据能够保留一天

120表示的是分钟,每两小时检查一次,如果超过1440的限制,就彻底清空。

无需重启集群,配置后即刻生效。在哪个机器配置的,在哪个机器执行命令就生效。

回收站默认位置在:/user/用户名(hadoop)/.Trash

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

11.HDFS shell其它命令

命令官方指导文档

Apache Hadoop 3.3.4 – Overview

12.HDFS WEB浏览

除了使用命令操作HDFS文件系统外,在HDFS的WEB UI上也可以查看HDFS文件系统的内容。

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

使用WEB浏览操作文件系统,一般会遇到权限问题

这是因为WEB浏览器中是以匿名用户(dr.who)登陆的,其只有只读权限,多数操作是做不了的。

HDFS的Shell操作,大数据,hdfs,hadoop,大数据

如果需要以特权用户在浏览器中进行操作,需要配置如下内容到core-site.xml并重启集群

  <property>

    <name>hadoop.http.staticuser.user</name>

    <value>hadoop</value>

  </property>

但是,不推荐这样做

HDFS WEBUI,只读权限挺好的,简单浏览即可

如果给与高权限,会有很大的安全问题,造成数据泄露或丢失文章来源地址https://www.toymoban.com/news/detail-853714.html

到了这里,关于HDFS的Shell操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop的安装和使用,Windows使用shell命令简单操作HDFS

    目录 1,Hadoop简介 2,分布式文件系统HDFS 1. HDFS简介 2.HDFS体系结构 3,Hadoop的安装 1.使用WEB管理页面操作HDFS 2.使用命令操作HDFS  4,HDFS的基本使用方法 1)启动hadoop,为当前登录的Windows用户在HDFS中创建用户目录 2)在用户名user/zhangna下创建test目录 3)将windows操作系统本地的一个

    2024年02月04日
    浏览(51)
  • Hadoop大数据技术-通过shell命令访问HDFS

    HDFS shell大致可以分为操作命令、管理命令、其他命令三类。 注意:当命令以“$”开头时,当前用户为普通用户;以“#”开头时,当前用户为root用户。 操作命令是以“ hdfs dfs ”开头的命令,用户可以通过执行这些命令,完成对文件的查找、上传、删除等操作。 [-p]:表示如

    2023年04月11日
    浏览(44)
  • 大数据:HDFS的Shell常用命令操作

    HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。 Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执

    2023年04月09日
    浏览(50)
  • 大数据课堂笔记 HDFS的shell操作

    一、HDFS常用命令操作实战 启动Hadoop集群 执行命令    start-yarn.sh  1.创建目录 (1).单层目录 执行命令  hdfs dfs -mkdir /ied  利用WebUI查看创建的目录 (2).创建多层目录 执行命令  hdfs dfs -mkdir -p /luzhou/lzy  利用WebUI查看创建的多层目录  2.查看目录 执行命令  hdfs dfs -ls /         

    2024年02月09日
    浏览(45)
  • 大数据技术之Hadoop:使用命令操作HDFS(四)

    目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八、HDFS数据删除操作 九、HDFS的其他命令 十、hdfs web查看目录 十一、HDFS客户端工具 11.1 下载插件 11.2 本地安装Had

    2024年02月09日
    浏览(47)
  • hadoop基础:通过 Shell 命令访问 HDFS

    HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为 操作命令 、 管理命令 、 其他命令 三类 操作命令是以“ hdfs dfs ”开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制、删除和查找 等操作,Shell 命令的一般格式如下。 hdfs dfs [通用选项] 其中,hdfs

    2023年04月08日
    浏览(47)
  • 分布式文件系统与HDFS的shell操作及查看元数据

      启动hadoop和hive的metastore 查看sbin的目录下的文件 执行./start-all.sh  查看相关的进程

    2024年02月16日
    浏览(56)
  • 实验二 HDFS的Shell命令操作,和HDFS的API操作

    来自博主卷毛迷你猪的授权 ,這是我的老師的博客多多關注 掌握 Hadoop 中 HDFS 的 Shell 命令操作 掌握 Hadoop 中 HDFS 的API操作  项目1:HDFS常见命令练习  项目2:HDFS命令的综合运用实践  项目3:HDFS的API使用实践  项目4:HDFS的API单元测试程序和更多思考(选做)  HDFS是

    2024年04月26日
    浏览(42)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(52)
  • HDFS的Shell操作

    目录 一、进程启停管理 (一)一键启停脚本 (二)单进程启停 二、文件系统操作命令 (一)HDFS文件系统基本信息 1.前置介绍 (二)命令介绍 1.新旧版本命令介绍 2.创建文件夹 3.查看指定目录下内容 4.上传文件到HDFS指定目录下 5.查看HDFS文件内容 6.下载HDFS文件 7.拷贝HDFS文

    2024年04月16日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包