大数据技术之Hadoop:使用命令操作HDFS(四)

这篇具有很好参考价值的文章主要介绍了大数据技术之Hadoop:使用命令操作HDFS(四)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、创建文件夹

二、查看指定目录下的内容

三、上传文件到HDFS指定目录下

四、查看HDFS文件内容

五、下载HDFS文件

六、拷贝HDFS文件

七、HDFS数据移动操作

八、HDFS数据删除操作

九、HDFS的其他命令

十、hdfs web查看目录

十一、HDFS客户端工具

11.1 下载插件

11.2 本地安装Hadoop环境

11.3 配置Big Data Tools插件

11.4 基本功能使用


在HDFS中的命令,基本上就是照搬的Linux命令。只要你熟悉Linux命令,那么HDFS命令基本上一遍过。它的目录结构和linux非常相似。

举个例子:

Linux 中:mkdir -p /opt/mynote

HDFS中:hadoop fs -mkdir -p /opt/mynote

        或者  hdfs dfs -mkdir -p /opt/mynote

所以说,是不是没什么区别?🫢

那么我们这就引出了第一个HDFS操作命令。

一、创建文件夹

hadoop fs -mkdir [-p] <path> ...
hdfs dfs -mkdir [-p] <path> ...

path 为待创建的目录

-p选项的行为与Linux mkdir -p一致,它会沿着路径创建父目录。

举例

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

如何查看创建的文件夹在哪里呢?

二、查看指定目录下的内容

hadoop fs -ls [-h] [-R] [<path> ...] 
hdfs dfs -ls [-h] [-R] [<path> ...] 

path 指定目录路径 

-h 人性化显示文件size

-R 递归查看指定目录及其子目录

举例

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

三、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>
hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

-f 覆盖目标文件(已存在下) 

-p 保留访问和修改时间,所有权和权限。

localsrc 本地文件系统(客户端所在机器)

dst 目标文件系统(HDFS

例如

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

注意:如果是客户端所在的机器,我们一般用file://前缀指代,hdfs用hdfs://指代,当然了默认情况下,我们一般选择省略。

四、查看HDFS文件内容

hadoop fs -cat <src> ... 
hdfs dfs -cat <src> ...
        

读取指定文件全部内容,显示在标准输出控制台。

例如

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

读取大文件可以使用管道符配合 more

hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more

五、下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>

下载文件到本地文件系统指定目录localdst必须是目录

-f 覆盖目标文件(已存在下)

-p 保留访问和修改时间,所有权和权限

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

六、拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst> 
hdfs dfs -cp [-f] <src> ... <dst>

-f 覆盖目标文件(已存在下

例如

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

七、HDFS数据移动操作

hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>

移动文件到指定文件夹下

可以使用该命令移动数据,重命名文件的名称

八、HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]

删除指定路径的文件或文件夹

-skipTrash 跳过回收站,直接删除

ps

回收站功能默认关闭,如果要开启需要在core-site.xml内配置:

<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>120</value>
</property>

无需重启集群,在哪个机器配置的,在哪个机器执行命令就生效。

回收站默认位置在:/user/用户名(hadoop)/.Trash

九、HDFS的其他命令

以上命令能够满足绝大多数的hdfs场景,如需更详细的命令,请参考官方文档:

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

十、hdfs web查看目录

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

默认只能查看,不能增删改操作。如果使用WEB浏览操作文件系统,一般会遇到权限问题

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

这是因为WEB浏览器中是以匿名用户(dr.who)登陆的,其只有只读权限,多数操作是做不了的。

如果需要以特权用户在浏览器中进行操作,需要配置如下内容到core-site.xml并重启集群

  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>hadoop</value>
  </property>

但是,不推荐这样做!

HDFS WEBUI,只读权限挺好的,简单浏览即可

如果给与高权限,会有很大的安全问题,造成数据泄露或丢失

十一、HDFS客户端工具

如果觉得通过命令操作hdfs比较麻烦,其实我们还可以使用客户端工具。

11.1 下载插件

如果你用的IDE工具是IDEA或者Pycharm,又或者使用的是DataGrip这种数据库工具,它们都是Jetbrains家的产品。

那么我们可以在插件市场下载一个插件:Big Data Tools。

它能够更加方便的让我们操作HDFS。

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

11.2 本地安装Hadoop环境

解压Hadoop安装包到Windows系统,如解压到:D:\it\hadoop-3.3.4\hadoop-3.3.4

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

设置$HADOOP_HOME环境变量指向:D:\it\hadoop-3.3.4\hadoop-3.3.4

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

下载如下两个资源

hadoop.dll(https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll)

winutils.exe(https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe)

将hadoop.dllwinutils.exe放入$HADOOP_HOME/bin

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

11.3 配置Big Data Tools插件

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java

11.4 基本功能使用

这部分不用多说,有手就行🫢。

大数据技术之Hadoop:使用命令操作HDFS(四),大数据技术,大数据,hadoop,hdfs,java文章来源地址https://www.toymoban.com/news/detail-704230.html

到了这里,关于大数据技术之Hadoop:使用命令操作HDFS(四)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(50)
  • Hadoop HDFS shell 命令行常用操作

    前言:Hadoop HDFS shell的命令和Linux的shell命令有类似的地方,基本上会使用Linux命令的话,把HDFS的理论理解一下就可以了。 一、创建文件夹  path为待创建的目录  -p选项的行为与unix mkdir -p类似,他会沿着路经创建父目录 二、查看指定目录下的内容  Path指定目录路径 -h人性化显

    2024年02月04日
    浏览(47)
  • Hadoop HDFS分布式文件系统(介绍以及基础操作命令)

    目录 一、为什么需要分布式存储? 二、分布式的基础架构分析  三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操作命令 1.创建文件夹  2.查看指定目录下内容  3.上传文件到HDFS指定目录下  4.查看HDFS文件内容 5.下载HDFS文件  6.拷贝

    2024年02月05日
    浏览(63)
  • 大数据技术之Hadoop(HDFS)

    1)HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是 分布式文件管理系统 。HDFS只是分布式文件管理系统中的一种。 2)HDFS定义

    2024年02月04日
    浏览(48)
  • 大数据技术之Hadoop(HDFS)——超详细

    1.1 HDFS产出背景及定义 1)HDFS产生背景 先给大家介绍一下什么叫HDFS,我们生活在信息爆炸的时代,随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这

    2024年02月03日
    浏览(53)
  • 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

    视频地址: 尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】 尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】 尚硅谷

    2023年04月08日
    浏览(92)
  • 大数据技术之Hadoop:HDFS存储原理篇(五)

    目录 一、原理介绍 1.1 Block块 1.2 副本机制 二、fsck命令 2.1 设置默认副本数量 2.2 临时设置文件副本大小 2.3 fsck命令检查文件的副本数 2.4 block块大小的配置 三、NameNode元数据 3.1 NameNode作用 3.2 edits文件 3.3 FSImage文件 3.4 元素据合并控制参数 3.5 SecondaryNameNode的作用 四、HDFS的读

    2024年02月09日
    浏览(67)
  • 大数据技术之Hadoop:HDFS集群安装篇(三)

    目录 分布式文件系统HDFS安装篇 一、为什么海量数据需要分布式存储 二、 分布式的基础架构分析 三、 HDFS的基础架构 四 HDFS集群环境部署 4.1 下载安装包 4.2 集群规划 4.3 上传解压 4.4 配置HDFS集群 4.5 准备数据目录 4.6 分发hadoop到其他服务器 4.7 配置环境变量 4.8 为普通用户授

    2024年02月14日
    浏览(49)
  • 【Hadoop】HDFS读写流程和客户端命令使用

    🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步

    2024年02月11日
    浏览(41)
  • 0202hdfs的shell操作-hadoop-大数据学习

    以下命令执行默认配置了hadoop的环境变量,且使用新命令。 一键启停脚本 独立进程启停 2.1 HDFS文件系统基本信息 HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。 HDFS同Linux系统一样,均是以/作为根目录的组织形式 如何区分

    2024年02月10日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包