HDFS 常用命令整理

这篇具有很好参考价值的文章主要介绍了HDFS 常用命令整理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hdfs 操作命令主要是以 hadoop fs 、hadoop dfs 、hdfs dfs 为前缀进行操作的,语法跟linux系统命令相似

1. 查询根目录下的文件结构

# 查询 / 目录下的内容
hdfs dfs -ls /
# 递归查询 / 目录下的所有内容
hadoop fs -ls -R / 

# 查看文件夹下文件的大小
hdfs dfs -du -h /

2. 创建文件/文件夹

# 创建文件夹
hdfs dfs -mkdir /test 
# 批量创建文件夹
hafs dfs -mkdir -p /test/test01/test001/

# 创建文件
hdfs dfs -touch /test/a.txt

3. 复制/移动 文件/文件夹

# 复制文件到根目录,并将文件重命名为 a_copy.txt
hdfs dfs -cp /show/a.txt /a_copy.txt

# 移动文件到 /show 目录下,并重命名为 b.txt
hdfs dfs -mv /a_copy.txt /show/b.txt

4. 本机文件上传到hdfs

# 本地创建一个文件
echo "test123" > test001.txt
# 将本地文件上传到 hdfs 的 /show/ 目录下 
# 剪切到 hdfs
hdfs dfs -moveFromLocal ./test001.txt /show/ 
# 复制到 hdfs, -put 和 -copyFromLocal 的作用一样
hdfs dfs -copyFromLocal ./test001.txt /show/
hdfs dfs -put ./test001.txt /show/ 

5.本地下载hdfs上的文件

# 从 hdfs 上将文件下载到本地当前目录
hdfs dfs -copyToLocal /show/a.txt ./

6.查看hdfs上文件的内容

# 查看文件内容
hdfs dfs -cat /show/test001.txt
# 显示一个文件末尾的数据,作用同linux中的 tail
hdfs dfs -tail /show/test001.txt

7.hdfs 文件/文件夹 权限设置

# 修改文件的权限
 hdfs dfs -chmod 777 /show/a.txt

# 修改文件的用户
 hdfs dfs -chown -R root /show/a.txt
# 修改文件的组
 hdfs dfs -chgrp -R supergroup /show/a.txt

8. hdfs 文件/文件夹的删除

# 删除文件 test002.txt
hdfs dfs -rm /show/test002.txt

# 递归删除整个 /show/ 文件夹
hdfs dfs -rm -R /show/

 

总结 : hdfs 命令不是很多,在这里简单记录下,方便以后查看!!!文章来源地址https://www.toymoban.com/news/detail-522250.html

到了这里,关于HDFS 常用命令整理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux 将 /home 目录与 / 根目录磁盘合并

    一般情况下进入 Linux 系统下的 / 目录,会看到如下目录列表。 可以看到其中包含 home 目录, home 目录下将会为每个用户创建一个属于自己的用户目录,也称为用户自己的 “家目录”。更多根目录的信息可查看笔者的这篇博客 《Linux文件系统目录结构详解》。 在安装 Linux 操

    2024年02月08日
    浏览(57)
  • ubuntu20根目录扩容

    ubuntu根目录/ 或者 /home文件夹有时出现空间满了的情况,可以用gparted工具进行空间的重新分配。 首先,如果你是双系统,需要从windows系统下磁盘压缩分配一部分未使用的空间给ubuntu,注意压缩的空间要邻接ubuntu所在盘的位置。 如果仅仅是把/home文件夹的空间分给/ ,则不需要

    2024年01月25日
    浏览(44)
  • Mac系统进入根目录

    ❤️ 快捷方式就是使用聚焦搜索 电脑按下 command + 空格 键 输入 /usr/bin 即可进入根目录 输入 /usr/local 即可进入安装目录 ❤️ 查看该目录下所有文件 如果您知道自己正在做什么 并需要显示所有根目录 使用 ls -a

    2024年02月12日
    浏览(49)
  • Docker修改默认根目录

    Docker安装后的默认根目录在/var/lib/docker,修改根目录的方法如下: 1、使用docker info查看默认的目录 2、确保停止docker服务 3、修改docker服务启动文件(docker.service ) 4、同步docker根目录数据到新目录 5、重新加载配置并启动 6、查看修改后的docker信息 如果能看到Docker Root Dir: /

    2024年02月13日
    浏览(42)
  • centos 下扩容根目录

    大体情况: 在VM虚拟机上安装了移动云的BCLinux镜像,磁盘设定为8G,但是用过一段时间之后根目录下磁盘已满,无法创建文件夹等操作,因此在VM上进行了磁盘扩容,扩容之后需要在系统上自行挂载,使用mount /dev/sda3 /无法挂载到根目录上,查询了各种博客,终于在根目录上扩

    2024年02月10日
    浏览(42)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(44)
  • linux系统根目录动态扩容

    前提:虚拟机系统根目录占用40GB,创建vm时磁盘大小给120GB 1. 将剩余空间分区 2. 创建pv 3.vg(centos)扩容

    2024年02月07日
    浏览(64)
  • React配置src根目录@

    yarn eject or npm run eject 如果报错了记得提前 git commit 一下 找到 webpack.config.js 文件 在 webpack.config.js 文件中找到 alias 配置 在alias里添加 \\\'@\\\': path.resolve(\\\'src\\\') , 或者 \\\'@\\\': path.join(__dirname,\\\'../src\\\') , 重新 npm start 即可

    2024年01月20日
    浏览(71)
  • Jupyter Notebook 配置根目录

    注:本文是在 Windows 10 上配置 Jupyter Notebook 打开的默认根目录,Linux 同。 使用以下命令创建 Jupyter Notebook 配置文件(如果尚未创建): 这将在用户文件夹下的 .jupyter 文件夹中创建一个名为 jupyter_notebook_config.py 的配置文件。 在配置文件中,找到以下行: 去掉注释 # 并在引号

    2024年02月11日
    浏览(53)
  • Ubuntu 扩展 LVM 根目录

    1. 查看当前空间使用情况 结果 查看逻辑分组情况 结果 查看磁盘情况 结果 查看块关联情况 结果 2. /dev/sdb 重新分区 结果 输入 m 回车 结果 输入 n 回车 结果 输入 p 回车 结果 输入 1 回车 结果 直接回车 结果 再回车 结果 输入 w 保存分区表 回车 结果 重新读取分区表 没有输出

    2024年02月10日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包