1. Toy模板网首页
  2. > Toy博客

Hadoop原理与技术——hdfs命令行基本操作

8月前 作者：FGGIT 分类：Toy博客 阅读(36) 违法举报

这篇具有很好参考价值的文章主要介绍了Hadoop原理与技术——hdfs命令行基本操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

点击链接查看文档

Hadoop原理与技术——hdfs命令行基本操作

一、实验目的
熟悉hdfs命令行基本操作
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
1：hdfs常见命令：
（1）查看帮助：hdfs dfs -help

（2）查看当前目录信息：hdfs dfs -ls /

（3）创建文件夹：hdfs dfs -mkdir /文件夹名

（4）上传文件：hdfs dfs -put /本地路径 /hdfs路径

（5）下载文件到本地：hdfs dfs -get /hdfs路径 /本地路径

（6）移动hdfs文件：hdfs dfs -mv /hdfs路径 /hdfs路径

（7）复制hdfs文件：hdfs dfs -cp /hdfs路径 /hdfs路径

（8）删除hdfs文件：hdfs dfs -rm /文件名

（9）删除hdfs文件夹：hdfs dfs -rm -r /文件夹名

（10）查看hdfs中的文件：hdfs dfs -cat /文件名

（11）查看文件夹中有多少个文件：hdfs dfs -count /文件夹名

（12）统计目录下的对象数：hdfs dfs -count /文件夹名

（13）统计目录下的对象大小：hdfs dfs -du [-s] [-h] /文件夹名

（14）显示hdfs的容量、数据块和数据节点的信息：hdfs dfsadmin -report

安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件，删除文件，重命名，创建文件夹等操作。

（15）查看安全模式状态：hdfs dfsadmin -safemode get

（16）强制进入安全模式：hdfs dfsadmin -safemode enter

（17）强制离开安全模式：hdfs dfsadmin -safemode leave

hdfs常见命令运行：

（1）查看帮助：hdfs dfs -help

Hadoop原理与技术——hdfs命令行基本操作

（2）查看当前目录信息：hdfs dfs -ls /

Hadoop原理与技术——hdfs命令行基本操作

（3）创建文件夹hdfsTest：hdfs dfs -mkdir /hdfsTest

Hadoop原理与技术——hdfs命令行基本操作

（4）把本地路径为/home/hadoop/rg34/input.txt的文件上传到hdfs文件系统路径为/hdfsTest/hdfsFile1的目录下：hdfs dfs -put /home/hadoop/rg3 4/input.txt /hdfsTest/hdfsFile1

Hadoop原理与技术——hdfs命令行基本操作

（5）下载路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件到本地/home/hadoop/linusTest目录下：hdfs dfs -get /hdfsTest/hdfsFile1/ input.txt /home/hadoop/linusTest

Hadoop原理与技术——hdfs命令行基本操作

（6）把路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件移动到/hdfsTest/hdfsFile2下：hdfs dfs -mv /hdfsTest/hdfsFile1/input.txt /hdfsTest/hdfsFile2

Hadoop原理与技术——hdfs命令行基本操作

（7）复制一份路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件到路径为/hdfsTest/hdfsFile1目录下：hdfs dfs -cp /hdfsTest/hdfsFile2/input. Txt /hdfsTest/hdfsFile1

Hadoop原理与技术——hdfs命令行基本操作

（8）删除路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件：hdfs dfs -rm /hdfsTest/hdfsFile1/input.txt

Hadoop原理与技术——hdfs命令行基本操作

（9）删除路径为/hdfsTest/hdfsFile1的hdfs文件夹：hdfs dfs -rm -r /hdfsTest/hdfsFile1

Hadoop原理与技术——hdfs命令行基本操作

（10）查看路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件：hdfs dfs -cat /hdfsTest/hdfsFile2/input.txt
Hadoop原理与技术——hdfs命令行基本操作

（11）查看hdfsTest文件夹中有多少个文件：hdfs dfs -count /hdfsTest

Hadoop原理与技术——hdfs命令行基本操作（数字2表示有两个文件夹，数据1表示有1个文件）

（12）统计某目录下的对象数：hdfs dfs -count /

Hadoop原理与技术——hdfs命令行基本操作

（13）统计某目录下的对象大小：hdfs dfs -du [-s] [-h] /

Hadoop原理与技术——hdfs命令行基本操作

（14）显示hdfs的容量、数据块和数据节点的信息： hdfs dfsadmin -report

Hadoop原理与技术——hdfs命令行基本操作安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件，删除文件，重命名，创建文件夹等操作。

（15）查看安全模式状态：hdfs dfsadmin -safemode get

Hadoop原理与技术——hdfs命令行基本操作

（16）强制进入安全模式：hdfs dfsadmin -safemode enter

Hadoop原理与技术——hdfs命令行基本操作

（17）强制离开安全模式：hdfs dfsadmin -safemode leave

Hadoop原理与技术——hdfs命令行基本操作文章来源地址https://www.toymoban.com/news/detail-415466.html

到了这里，关于Hadoop原理与技术——hdfs命令行基本操作的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 黑马大数据学习笔记2-HDFS基本操作

    黑马大数据学习笔记2-HDFS基本操作

    https://www.bilibili.com/video/BV1WY4y197g7?p=26 切换到hadoop用户 Hadoop HDFS组件内置了HDFS集群的一键启停脚本。 $HADOOP_HOME/sbin/start-dfs.sh，一键启动HDFS集群 执行原理： 在执行此脚本的机器上，启动SecondaryNameNode 读取core-site.xml内容（fs.defaultFS项），确认NameNode所在机器，启动NameNode 读取

    2024年02月16日
    浏览(30)
  • elasticsearch 7.9.3知识归纳整理（二）之 es基本原理及使用kibana操作es的常见命令

    elasticsearch 7.9.3知识归纳整理（二）之 es基本原理及使用kibana操作es的常见命令

    一、es的基本原理与基础概念 1.1 倒排索引 倒排索引 源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带

    2024年02月12日
    浏览(36)
  • 云计算与大数据实验三 HDFS的基本操作

    云计算与大数据实验三 HDFS的基本操作

    一、实验目的 理解 HDFS 架构和工作原理 掌握 HDFS 部署环境和步骤 掌握 HDFS( 集群的启动 start-dfs.sh) 启动 使用 Hadoop 命令 ( 文件的增 / 删 / 改 / 查 / 上传 / 下载 ) 来操作分布式文件系统 二、实验内容 HDFS 伪分布式环境搭建 HDFS( 集群的启动 start-dfs.sh) 启动 练习 Hadoop 命令 ( 文件

    2024年02月04日
    浏览(26)
  • Hadoop Hdfs基本命令

    Hadoop Hdfs基本命令

    1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 1.hadoop安装问题处理 如果安装有进程无法启动，如下图 重新检查6个配置文件 Core-site.xml hdfs-site.xml hadoop-env.sh yarn-site.xml workers yarn-site.xml 来到hadoop313目录 清空data和yarndata 重新初始化 测试 2.hadoop hdfs基本命

    2024年02月11日
    浏览(31)
  • Hadoop基本操作

    Hadoop基本操作

    Hadoop安全模式 安全模式是保证系统保密性、完整性及可用性的一种机制，在一定程度上可以防止系统里的资源遭到破坏、更改和泄露，使整个系统持续、可靠地正常运行。 了解Hadoop安全模式 安全模式是Hadoop的保护机制，保障系统不受破坏。当处于安全模式时，文件系统只接

    2024年02月11日
    浏览(70)
  • 大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HDFS操作

    大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HDFS操作

    1 ）理解 HDFS 在 Hadoop 体系结构中的角色。 2 ）熟练使用 HDFS 操作常用的 shell 命令。 3 ）熟悉 HDFS 操作常用的 Java API。 1 ）操作系统：Linux； 2 ）Hadoop 版本：3.2.2； 3 ）JDK 版本：1.8； 4 ）Java IDE：Eclipse。 编程实现 以下功能，并利用 Hadoop 提供的 Shell 命令 完成相同任务 1）向

    2024年02月02日
    浏览(33)

  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建： hadoop fs -mkdir /xiaolin 递归创建： hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件： -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(37)

  • HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）

    主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(31)
  • 基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用

    基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用

    Docker的整个生命周期有三部分组成：镜像（image）+容器（container）+仓库（repository）简单来讲，镜像是文件，容器是进程容器是基于镜像创建的，即容器中的进程依赖于镜像中的文件,在Docker的生命周期中，最核心的两个部分，一个是镜像 (Images)，一个是容器 (Containers)。 镜像

    2024年02月11日
    浏览(46)

  • Hadoop HDFS shell 命令行常用操作

    前言：Hadoop HDFS shell的命令和Linux的shell命令有类似的地方，基本上会使用Linux命令的话，把HDFS的理论理解一下就可以了。 一、创建文件夹  path为待创建的目录  -p选项的行为与unix mkdir -p类似，他会沿着路经创建父目录 二、查看指定目录下的内容  Path指定目录路径 -h人性化显

    2024年02月04日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包