HDFS 常用命令整理

这篇具有很好参考价值的文章主要介绍了HDFS 常用命令整理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hdfs 操作命令主要是以 hadoop fs 、hadoop dfs 、hdfs dfs 为前缀进行操作的,语法跟linux系统命令相似

1. 查询根目录下的文件结构

# 查询 / 目录下的内容
hdfs dfs -ls /
# 递归查询 / 目录下的所有内容
hadoop fs -ls -R / 

# 查看文件夹下文件的大小
hdfs dfs -du -h /

2. 创建文件/文件夹

# 创建文件夹
hdfs dfs -mkdir /test 
# 批量创建文件夹
hafs dfs -mkdir -p /test/test01/test001/

# 创建文件
hdfs dfs -touch /test/a.txt

3. 复制/移动 文件/文件夹

# 复制文件到根目录,并将文件重命名为 a_copy.txt
hdfs dfs -cp /show/a.txt /a_copy.txt

# 移动文件到 /show 目录下,并重命名为 b.txt
hdfs dfs -mv /a_copy.txt /show/b.txt

4. 本机文件上传到hdfs

# 本地创建一个文件
echo "test123" > test001.txt
# 将本地文件上传到 hdfs 的 /show/ 目录下 
# 剪切到 hdfs
hdfs dfs -moveFromLocal ./test001.txt /show/ 
# 复制到 hdfs, -put 和 -copyFromLocal 的作用一样
hdfs dfs -copyFromLocal ./test001.txt /show/
hdfs dfs -put ./test001.txt /show/ 

5.本地下载hdfs上的文件

# 从 hdfs 上将文件下载到本地当前目录
hdfs dfs -copyToLocal /show/a.txt ./

6.查看hdfs上文件的内容

# 查看文件内容
hdfs dfs -cat /show/test001.txt
# 显示一个文件末尾的数据,作用同linux中的 tail
hdfs dfs -tail /show/test001.txt

7.hdfs 文件/文件夹 权限设置

# 修改文件的权限
 hdfs dfs -chmod 777 /show/a.txt

# 修改文件的用户
 hdfs dfs -chown -R root /show/a.txt
# 修改文件的组
 hdfs dfs -chgrp -R supergroup /show/a.txt

8. hdfs 文件/文件夹的删除

# 删除文件 test002.txt
hdfs dfs -rm /show/test002.txt

# 递归删除整个 /show/ 文件夹
hdfs dfs -rm -R /show/

 

总结 : hdfs 命令不是很多,在这里简单记录下,方便以后查看!!!文章来源地址https://www.toymoban.com/news/detail-522250.html

到了这里,关于HDFS 常用命令整理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux 将 /home 目录与 / 根目录磁盘合并

    一般情况下进入 Linux 系统下的 / 目录,会看到如下目录列表。 可以看到其中包含 home 目录, home 目录下将会为每个用户创建一个属于自己的用户目录,也称为用户自己的 “家目录”。更多根目录的信息可查看笔者的这篇博客 《Linux文件系统目录结构详解》。 在安装 Linux 操

    2024年02月08日
    浏览(58)
  • Docker修改默认根目录

    Docker安装后的默认根目录在/var/lib/docker,修改根目录的方法如下: 1、使用docker info查看默认的目录 2、确保停止docker服务 3、修改docker服务启动文件(docker.service ) 4、同步docker根目录数据到新目录 5、重新加载配置并启动 6、查看修改后的docker信息 如果能看到Docker Root Dir: /

    2024年02月13日
    浏览(43)
  • centos 下扩容根目录

    大体情况: 在VM虚拟机上安装了移动云的BCLinux镜像,磁盘设定为8G,但是用过一段时间之后根目录下磁盘已满,无法创建文件夹等操作,因此在VM上进行了磁盘扩容,扩容之后需要在系统上自行挂载,使用mount /dev/sda3 /无法挂载到根目录上,查询了各种博客,终于在根目录上扩

    2024年02月10日
    浏览(44)
  • Mac系统进入根目录

    ❤️ 快捷方式就是使用聚焦搜索 电脑按下 command + 空格 键 输入 /usr/bin 即可进入根目录 输入 /usr/local 即可进入安装目录 ❤️ 查看该目录下所有文件 如果您知道自己正在做什么 并需要显示所有根目录 使用 ls -a

    2024年02月12日
    浏览(51)
  • ubuntu20根目录扩容

    ubuntu根目录/ 或者 /home文件夹有时出现空间满了的情况,可以用gparted工具进行空间的重新分配。 首先,如果你是双系统,需要从windows系统下磁盘压缩分配一部分未使用的空间给ubuntu,注意压缩的空间要邻接ubuntu所在盘的位置。 如果仅仅是把/home文件夹的空间分给/ ,则不需要

    2024年01月25日
    浏览(44)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(48)
  • linux系统根目录动态扩容

    前提:虚拟机系统根目录占用40GB,创建vm时磁盘大小给120GB 1. 将剩余空间分区 2. 创建pv 3.vg(centos)扩容

    2024年02月07日
    浏览(65)
  • centos7 根目录扩容

    需求         将测试环境根目录扩容到47G 具体操作 1.添加一块硬盘 我们新添加了一块30G的硬盘 2.查看本机磁盘环境 lsblk 我们可以看到根目录总容量为17G,新添加的设备sdb为30G  添加磁盘分区 fdisk /dev/sdb 创建分区: 查看分区信息是否创建:   可以看见sdb1分区已创建。

    2023年04月26日
    浏览(56)
  • Centos给根目录扩容教程

    今天在使用nacos服务时发现怎么操作都会报错,原因是磁盘空间已满,正好有时间,研究一下怎么对Centos进行扩容 1、首先,通过命令df -h 观察磁盘占用情况 可以发现根目录已经被写满了,这会导致所有写操作都无法进行 2、先关闭虚拟机,然后在VMware的设置中选择添加一块新

    2024年04月16日
    浏览(56)
  • Ubuntu 扩展 LVM 根目录

    1. 查看当前空间使用情况 结果 查看逻辑分组情况 结果 查看磁盘情况 结果 查看块关联情况 结果 2. /dev/sdb 重新分区 结果 输入 m 回车 结果 输入 n 回车 结果 输入 p 回车 结果 输入 1 回车 结果 直接回车 结果 再回车 结果 输入 w 保存分区表 回车 结果 重新读取分区表 没有输出

    2024年02月10日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包