云计算与大数据实验三 HDFS的基本操作

这篇具有很好参考价值的文章主要介绍了云计算与大数据实验三 HDFS的基本操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、实验目的

  1. 理解HDFS架构和工作原理

  2. 掌握HDFS部署环境和步骤

  3. 掌握HDFS(集群的启动start-dfs.sh)启动

  4. 使用Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

二、实验内容

  1. HDFS伪分布式环境搭建

  2. HDFS(集群的启动start-dfs.sh)启动

  3. 练习Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

 三、实验步骤

使用tar解压命令,将已经下载好的hadoop安装包进行解压。

执行过程及结果:

1.进入软件包目录

root@evassh-10644553:~# cd /data/workspace/myshixun/ 
root@evassh-10644553:/data/workspace/myshixun#

2.查看软件包(通过LS命令可以看到jdk这个安装包)

root@evassh-10644553:/data/workspace/myshixun# ls hadoop-2.8.3.tar.gz 
root@evassh-10644553:/data/workspace/myshixun#

3.将软件包解压到/opt目录下(tar命令是解压命令,-C参数是指定解压位置)

root@evassh-10644553:/data/workspace/myshixun# tar -zxf hadoop-2.7.1.tar.gz -C /opt 
root@evassh-10644553:/data/workspace/myshixun#

4.查看是否解压成功

root@evassh-10644553:/data/workspace/myshixun# ls /opt hadoop-2.8.3 
root@evassh-10644553:/data/workspace/myshixun# 

5.将目录切换到root用户的家目录

root@evassh-10644553:/data/workspace/myshixun# cd 
root@evassh-10644553:~#

配置环境变量

配置环境变量的目的是为了能够在全局使用hadoop或者hdfs等相关的命令。

1.使用vi命令编辑环境变量文件

root@evassh-10644553:~# vi /etc/profile

输入完成该命令后会进入文档内部,如下图 云计算与大数据实验三 HDFS的基本操作

2.按↓箭头将白色光标移动到最下面,如下图标红出所示 云计算与大数据实验三 HDFS的基本操作

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了 云计算与大数据实验三 HDFS的基本操作

4.按照下图红色框内输入的内容,完成配置 云计算与大数据实验三 HDFS的基本操作

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了 云计算与大数据实验三 HDFS的基本操作

6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件 云计算与大数据实验三 HDFS的基本操作

回车后,就可以看到已经退出文件编辑

7.生效环境编辑

root@evassh-10644553:~#source /etc/profile root@evassh-10644553:~#

8.测试,单输入h字母后,快速按下键盘上面的TAB键,会返回如下结果

root@evassh-10644553:~# h

云计算与大数据实验三 HDFS的基本操作

root@evassh-10644553:~# h 

从上面的返回结果中我们可以看到有hadoop和hdfs开头的很多命令,如果TAB后没有hadoop和hdfs开头的命令则环境变量配置错误。

修改HDFS的core-site.xml文件

core-site.xml文件主要是指定默认文件系统为 HDFS 和 Namenode 所在节点。

1.编辑core-site.xml

root@evassh-10644553:~# vi /opt/hadoop-2.7.1/etc/hadoop/core-site.xml

输入完成该命令后会进入文档内部,如图 云计算与大数据实验三 HDFS的基本操作

2.按↓箭头将白色光标移动到最下面,如下图标红出所示 云计算与大数据实验三 HDFS的基本操作

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了 云计算与大数据实验三 HDFS的基本操作

4.按照下图红色框内输入的内容,完成配置 云计算与大数据实验三 HDFS的基本操作

一定要再三核对该内容,否则后面会报错

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了 云计算与大数据实验三 HDFS的基本操作

6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件 云计算与大数据实验三 HDFS的基本操作

回车后,就可以看到已经退出文件编辑

修改HDFS的hdfs-site.xml文件

hdfs-site.xml文件主要是指定元数据存储目录,数据存储目录,指定备份 Namenode 节点。

1.编辑hdfs-site.xml

root@evassh-10644553:~# vi /opt/hadoop-2.7.1/etc/hadoop/hdfs-site.xml

输入完成该命令后会进入文档内部,如下图 云计算与大数据实验三 HDFS的基本操作

2.按↓箭头将白色光标移动到如下图标红出所示 云计算与大数据实验三 HDFS的基本操作

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了 云计算与大数据实验三 HDFS的基本操作

4.按照下图红色框内输入的内容,完成配置 云计算与大数据实验三 HDFS的基本操作一定要再三核对该内容,否则后面会报错

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了 云计算与大数据实验三 HDFS的基本操作

6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件 云计算与大数据实验三 HDFS的基本操作回车后,就可以看到已经退出文件编辑

初始化集群

所谓的初始化集群,就是格式化,生成文件系统。主要目的是:

①创建一个全新的元数据目录

②生成记录元数据的文件 fsimage

③生成集群的相关标识:如集群 ID—clusterID

root@evassh-10644553:~# hadoop namenode -format

云计算与大数据实验三 HDFS的基本操作

在返回结果中看到“successfully”,标志着出初始化成功。初始化成功后,千万不要再次操作。每次初始化都会生成一个新的集群ID,会使DataNode和NameNode中记录的集群ID不一致,两者无法识别。

ssh免密配置

ssh是连接linux主机的方式之一,在启动HDFS相关服务时会创建一个新的链接来连接linux主机,需要配置免密码登录,这样就可以直接启动服务了,不需要输入密码了。

1.生成密钥,连续按三次回车

root@evassh-10644553:~# ssh-keygen -t rsa -P ''
root@evassh-10644553:~#

2.把id_rsa.pub追加到授权的key里面去

root@evassh-10644553:~#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
root@evassh-10644553:~#

3.测试

root@evassh-10644553:~#ssh localhost 

在下面标红的地方输入yes 云计算与大数据实验三 HDFS的基本操作输入完成后没有输入密码提示,就是成功了

启动HDFS并简单查看

1.使用start-dfs.sh命令启动HDFS集群。

root@evassh-10644553:~# start-dfs.sh localhost: 
starting namenode, logging to /opt/hadoop-2.7.1/logs/hadoop-root-namenode-evassh-10683023.out localhost: 
starting datanode, logging to /opt/hadoop-2.7.1/logs/hadoop-root-datanode-evassh-10683023.out Starting secondary namenodes [localhost] localhost: 
starting secondarynamenode, logging to /opt/hadoop-2.7.1/logs/hadoop-root-secondarynamenode-evassh-10683023.out 
root@evassh-10644553:~#

2.使用JPS命令验证

root@evassh-10644553:~#jps 1328 SecondaryNameNode 979 NameNode 1126 DataNode 1608 Jps 

前面的数字为服务的进程号,每次启动进程号都会不同。只要能看到有NameNode、DataNode、SecondaryNameNode这三个进程在线就可以了

3.使用ls命令查看hdfs上面的文件

root@evassh-10644553:~#hdfs dfs -ls / 
root@evassh-10644553:~#

返回结果为空即正常。

HDFS的常用命令

启动Hadoop

云计算与大数据实验三 HDFS的基本操作

HDFS中创建/usr/output/文件夹;

云计算与大数据实验三 HDFS的基本操作

在本地创建hello.txt文件并添加内容:“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”;

云计算与大数据实验三 HDFS的基本操作

hello.txt上传至HDFS/usr/output/目录下;

云计算与大数据实验三 HDFS的基本操作

删除HDFS/user/hadoop目录;

Hadoop上的文件hello.txtHDFS复制到本地/usr/local目录。

云计算与大数据实验三 HDFS的基本操作

 四、实验心得

掌握了HDFS(集群的启动start-dfs.sh)启动

会使用Hadoop命令(文件的增////上传/下载)来操作分布式文件系统文章来源地址https://www.toymoban.com/news/detail-444656.html

到了这里,关于云计算与大数据实验三 HDFS的基本操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HDFS基本操作命令

    hdfs shell cli支持操作多种文件系统,包括本地文件系统(file:///),分布式文件系统(hdfs:nn:8020)等 操作的是什么文件系统取决于URL种的前缀协议 如果没有指定前缀,则将会读取环境变量汇总的fs.defaultFS属性,以该属性作为默认文件系统 hdfs dfs -ls file:/// #操作本地文件系统 hdfs dfs

    2024年02月16日
    浏览(32)
  • HDFS 基本 shell 操作

    调用格式: 例如: 调用格式: 注意: 直接写/是省略了文件系统的名称hdfs://ip:port。 例如: 调用格式: 例如: 调用格式: 本地文件 hello1.txt 的内容追加到 hdfs 文件 hello.txt 的后面操作如下: 原 hello.txt:hello world 原 hello1.txt:hello 追加的 hello.txt 中内容如下 查看分布式文件系统的目录

    2024年02月15日
    浏览(49)
  • HDFS的架构优势与基本操作

    如今,数据正以指数级增长,各行各业都在追求更多的数据存储、高效的数据处理和可靠的数据基础来驱动业务的发展。Hadoop Distributed File System(HDFS)作为Hadoop生态系统的核心组件之一,成为构建可靠的大数据基础的不二选择之一。本文将深入剖析HDFS的架构与优势。 HDFS(

    2024年03月13日
    浏览(39)
  • 黑马大数据学习笔记2-HDFS基本操作

    https://www.bilibili.com/video/BV1WY4y197g7?p=26 切换到hadoop用户 Hadoop HDFS组件内置了HDFS集群的一键启停脚本。 $HADOOP_HOME/sbin/start-dfs.sh,一键启动HDFS集群 执行原理: 在执行此脚本的机器上,启动SecondaryNameNode 读取core-site.xml内容(fs.defaultFS项),确认NameNode所在机器,启动NameNode 读取

    2024年02月16日
    浏览(37)
  • Hadoop原理与技术——hdfs命令行基本操作

    点击链接查看文档 一、实验目的 熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:hdfs常见命令: (1)查看帮助:hdfs dfs -help (2)查看当前目录信息:hdfs dfs -ls / (3)创建文件夹:hdfs dfs -mkdir /文件夹名 (4)上传文件:

    2023年04月16日
    浏览(45)
  • 大数据 | 实验一:大数据系统基本实验 | 熟悉常用的HDFS操作

    1 )理解 HDFS 在 Hadoop 体系结构中的角色。 2 )熟练使用 HDFS 操作常用的 shell 命令。 3 )熟悉 HDFS 操作常用的 Java API。 1 )操作系统:Linux; 2 )Hadoop 版本:3.2.2; 3 )JDK 版本:1.8; 4 )Java IDE:Eclipse。 编程实现 以下功能,并利用 Hadoop 提供的 Shell 命令 完成相同任务 1)向

    2024年02月02日
    浏览(40)
  • 云计算与大数据实验五 MapReduce编程

    一、实验目的 了解Mapper类,Reducer类和Job类 掌握什么是MapReduce及使用MapReduce进行运算 掌握挖掘父子辈关系,给出祖孙辈关系的表格 二、实验内容 使用Map/Reduce计算班级中年龄最大的学生 使用Map/Reduce编程实现文件合并和去重操作 对给定的表格进行信息挖掘 编写实现日期操作

    2023年04月24日
    浏览(67)
  • 大数据实验 实验三:熟悉常用的HBase操作

    (1)理解HBase在Hadoop体系结构中的角色; (2)熟练使用HBase操作常用的Shell命令; (3)熟悉HBase操作常用的Java API。 操作系统:centos7; Hadoop版本:3.3; HBase版本:2.2.2; JDK版本:1.8; Java IDE:IDEA。 (1) 列出HBase所有的表的相关信息,例如表名、创建时间等; (2) 在终端

    2024年02月04日
    浏览(45)
  • 【大数据实验一 】熟悉常用的Linux操作和Hadoop操作

    1.实验目的 Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。 2.实验平台 (1)操作系统:Linux(Ubuntu18.04); (2)Hadoop版本:3.1.3。 3.实验步骤 1.熟悉常用的Linux操作 1)cd命令:

    2024年02月08日
    浏览(38)
  • HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

    2024年02月08日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包