HDFS常用命令(介绍超详细)

这篇具有很好参考价值的文章主要介绍了HDFS常用命令(介绍超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

第一步,首先使用命令启动你配置的Hadoop环境

start-dfs.sh

第二步,启动完成之后就可以来练习你的HDFS常用命令了

首先,使用以下命令查看当前服务端HDFS根目录下的文件

hadoop fs -ls /

(由于是新环境,执行完里面应该是什么都没有的)

 hdfs进入目录命令,hdfs,hadoop,大数据

 第三步,如何在本地创建readme.txt文件并使用put命令上传到服务端

echo helloworld >> readme.txt
hadoop fs -put readme.txt /

第四步,如何查看readme.txt文件内容(以下命令二选一)

hadoop fs -text /readme.txt
hadoop fs -cat /readme.txt

hdfs进入目录命令,hdfs,hadoop,大数据 

第五步,如何从本地拷贝文件到HDFS

echo hadoop is bigdata >> bigdata.txt
hadoop fs -copyFromLocal bigdata.txt /

 最后查看一手是否成功

hadoop fs -ls /

hdfs进入目录命令,hdfs,hadoop,大数据 

第六步,如何移动本地文件到HDFS

首先我们将bigdata.txt拷贝一份命名为hadoop.txt

cp bigdata.txt hadoop.txt

 接着将hadoop.txt移动至hdfs服务端

hadoop fs -moveFromLocal hadoop.txt /

 完成之后我们可以看一下是否移动成功

hadoop fs -ls /

hdfs进入目录命令,hdfs,hadoop,大数据

再看一下原目录是否还有hadoop.txt

ll

 hdfs进入目录命令,hdfs,hadoop,大数据

这样就成功将hadoop.txt移动至hdfs服务端了。

第七步,如何从HDFS上获取文件

首先我们要创建一个hdfs目录,然后进入此目录

mkdir hdfs
cd hdfs

接下来就可以将HDFS服务端上的read.txt获取到此目录

hadoop fs -get /readme.txt

 最后我们ll命令看一下是否成功

ll

 hdfs进入目录命令,hdfs,hadoop,大数据

第八步,如何在HDFS上创建文件夹 

hadoop fs -mkdir /test

可以查看一手是否成功

hadoop fs -ls /

hdfs进入目录命令,hdfs,hadoop,大数据

第九步,如何将HDFS上readme.txt移动到test文件夹中 

hadoop fs -mv /readme.txt /test

我们可以看一下是否成功,先看HDFS服务端是否还有readme.txt

 文章来源地址https://www.toymoban.com/news/detail-784627.html

hadoop fs -ls /

hdfs进入目录命令,hdfs,hadoop,大数据

再看一下当前目录是否有readme.txt

ll

 hdfs进入目录命令,hdfs,hadoop,大数据

第十步,如何将HDFS上test文件夹中readme.txt拷贝 

hadoop fs -cp /test/readme.txt /test/readme-1.txt

查看一下是否成功

hadoop fs -ls /test

hdfs进入目录命令,hdfs,hadoop,大数据

第十一步,如何从HDFS上获取并合并文件

hadoop fs -getmerge /test ./merge.txt

 查看一下是否成功

cat merge.txt

hdfs进入目录命令,hdfs,hadoop,大数据

第十二步,如何从HDFS上删除文件和文件夹

hadoop fs -rm /test/readme-1.txt

出现这一行即为成功 

hdfs进入目录命令,hdfs,hadoop,大数据

 

到了这里,关于HDFS常用命令(介绍超详细)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3教程(三):HDFS文件系统常用命令一览

    hdfs命令的完整形式: 其中subcommand有三种形式: admin commands client commands:如本节重点要讲的dfs daemon commands dfs(文件系统命令),这个是HDFS里,日常使用 最为频繁的一种命令 ,用来在HDFS的文件系统上运行各种文件系统命令,如查看文件、删除文件等。 基本语法: 这俩基本

    2024年02月06日
    浏览(47)
  • Hadoop HDFS分布式文件系统(介绍以及基础操作命令)

    目录 一、为什么需要分布式存储? 二、分布式的基础架构分析  三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操作命令 1.创建文件夹  2.查看指定目录下内容  3.上传文件到HDFS指定目录下  4.查看HDFS文件内容 5.下载HDFS文件  6.拷贝

    2024年02月05日
    浏览(36)
  • 最详细HDFS常用命令作用及截图

    Hdfs dfs -appendToFile:把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat :用于查看分布式文件系统中指定文件里面的内容; 两个命令在一个截图中 Hdfs dfs -checksum:用来查看指定文件的MD5值 Hdfs dfs -charp:对分布式文件系统中的文件进行授权给指定用户 Hdfs dfs -chmod   

    2024年02月12日
    浏览(36)
  • Hadoop -HDFS常用操作指令

    path 指定目录路径 -h 人性化显示文件size -R 递归查看指定目录及其子目录 -f 覆盖目标文件(已存在下) -p 保留访问和修改时间,所有权和权限。 localsrc 本地文件系统(客户端所在机器 ) dst 目标文件系统(HDFS) 下载文件到本地文件系统指定目录,localdst必须是目录 -f 覆盖目

    2024年02月10日
    浏览(34)
  • Hadoop Hdfs基本命令

    1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 1.hadoop安装问题处理 如果安装有进程无法启动,如下图 重新检查6个配置文件 Core-site.xml hdfs-site.xml hadoop-env.sh yarn-site.xml workers yarn-site.xml 来到hadoop313目录 清空data和yarndata 重新初始化 测试 2.hadoop hdfs基本命

    2024年02月11日
    浏览(31)
  • Hadoop --- HDFS介绍

    HDFS 全称是Hadoop Distributed File System hadoop分布式(cluser)文件存储系统。适合一次写入,多次读出的场景。 HDFS不需要单独安装,安装Hadoop的时候带了HDFS系统。 Hadoop安装可以参考:  有基础的,已经安装了虚拟机的 : Hadoop安装 没有基础, 也没有安装虚拟机的: Hadoop集群安

    2024年02月10日
    浏览(34)
  • 熟悉常用的HDFS操作(附录HDFS常用命令)

    1、理解HDFS在Hadoop体系结构中的角色; 2、熟练使用HDFS操作常用的Shell命令; 3、熟悉HDFS操作常用的Java API 1、编程实现指定功能,并利用Hadoop提供的Shell命令完成相同任务: 2、编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”。 编程实现以下指定

    2023年04月09日
    浏览(33)
  • Hadoop HDFS 安装详细步骤

    安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata,即执行下面的命令: mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应,在官网中查 解压 hadoop 压缩安装包 tar zxvf hadoop-2.7.5.tar.gz 执行完后,在当前的目录下会出现一个名为 had

    2024年02月07日
    浏览(36)
  • hadoop命令行查看hdfs容量剩余

    #需要有superuser权限才能执行 hadoop dfsadmin -report #Remaining是剩余的容量 也可以通过浏览器访问50070端口查看

    2024年02月15日
    浏览(52)
  • Hadoop框架---HDFS的Shell命令操作

    有2种等效的语法格式分别为: case1: hadoop fs 具体命令 case2: hdfs dfs 具体命令 实际使用时根据 个人喜好 自由选择以上任意一种语法格式。 其有很多命令,但在生产环境中我们经常使用的命令并没有那么多,因此需要时再回头查阅上图中的命令即可。 3.1.1 启动Hadoop集群 在使用

    2024年02月05日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包