一、HDFS常用命令操作实战
启动Hadoop集群 执行命令 start-yarn.sh
1.创建目录
(1).单层目录
执行命令 hdfs dfs -mkdir /ied
利用WebUI查看创建的目录
(2).创建多层目录
执行命令 hdfs dfs -mkdir -p /luzhou/lzy
利用WebUI查看创建的多层目录
2.查看目录
执行命令 hdfs dfs -ls / 查看根目录
执行命令 hdfs dfs -ls /luzhou
3.上传本地文件到HDFS
创建 test.txt 文件 执行命令 echo “hello world” >test.txt
上传 test.txt 文件到HDFS的 /ied目录，执行命令 hdfs dfs -put test.txt /ied
利用Hadoop WebUI界面查看是否上传成功
4.查看文件内容
执行命令：hdfs dfs -cat /ied/test.txt
5、下载HDFS文件到本地
先删除本地的test.txt文件 执行命令：rm -rf test.txt
下载HDFS文件系统的 /ied/test.txt 到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt
将HDFS上的文件下载到本地指定位置,并且可以更改文件名
执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt
检查是否下载成功
6、删除HDFS文件
执行命令： hdfs dfs -rm /ied/test.txt
检查是否删除成功
7.删除HDFS目录
执行命令：hdfs dfs -rmdir /luzhou
提示 -rmdir 命令删除不了非空目录
要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）
删除空目录 /BigData 执行命令：hdfs dfs -rmdir /BigData
8、移动目录或文件
将 /ied 目录更名为 /ied01，执行命令：hdfs dfs -mv /ied /ied01
利用Hadoop WebUI查看是否更名成功
将 /ied01/exam.txt 更名为 /ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt
9、文件合并下载
现在 /ied01 里有一个 test.txt ，创建 sport.txt 和 music.txt 并上传
合并/ied01目录的文件下载到本地当前目录的merger.txt
执行命令：hdfs dfs -getmerge /ied01/* merger.txt
查看本地的merger.txt，看是不是三个文件合并后的内容
10、检查文件信息
检查 test.txt 文件，执行命令：hdfs fsck /ied01/test.txt -files -blocks -locations -racks
执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01，将hadoop压缩包上传到HDFS的/ied01目录
查看HDFS上 hadoop-3.3.4.tar.gz 文件信息，执行命令：hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks
利用Hadoop WebUI来查看文件块信息更加方便，总共有6个文件块：Block0、Block1、Block2、Block3、Block4、Block5
第1个文件块信息
第6个文件块信息文章来源：https://www.toymoban.com/news/detail-488423.html
文章来源地址https://www.toymoban.com/news/detail-488423.html
到了这里，关于大数据课堂笔记 HDFS的shell操作的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
