hadoop学习之hdfs学习

这篇具有很好参考价值的文章主要介绍了hadoop学习之hdfs学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HDFS 文件系统,可以说是分布式数据库吧
结构是 目录树
适用场景:一次写入,多次读出.好像不太支持改删

优点:
1.高容错:
因为他会备份,所以一份出问题了,并不影响其他几份
如果副本丢失后,定时恢复.应该是定时检查然后恢复
每次启动,DN向NN汇报备份的存储情况.默认每个6个小时重新汇报
2.要求比较低
不需要对服务器有特定要求(如高级服务器有负载均衡功能1台20W多)
缺点:
1.不适合低延时数据访问,
2.无法高效对大量小文件进行存储.
NameNode的内存是固定的,也就是说,目录和块信息总有完的时候,如果全是小程序,就亏的很.
小文件存储的寻址超过读取,违反HDFS设计目标
总结: 不值得 占内存太大 找数据太麻烦 效率太低 消耗太高,性价比不足
3.不支持并发写入,文件随机修改
一个文件不能多个线程同时写入.
只支持数据append,不支持随机修改
其实还是快,如果要修改的话,有可能影响多个块,因为写多了,后面的块可能都会被改掉.有可能直接影响结构了.
hadoop学习之hdfs学习,hadoop,学习,hdfs
设置块大小:
hadoop学习之hdfs学习,hadoop,学习,hdfs
传输时间 = 寻址时间 / 0.01
所以看磁盘传输的秒速

要在shell使用hadoop命令,必须先输入 hadoop fs

合并下载getmerage就是,下载多个文件,内容合并到一个文件中

cp 和mv处理目录这里都不需要-r
rm 删除目录 -r
-f是免回答

du 统计文件夹大小
第一列 是单个大小
第二列 备份大小
hadoop学习之hdfs学习,hadoop,学习,hdfs
setrep 设置副本数量
这个只能针对某个文件修改
设置之后,立刻生效
hadoop学习之hdfs学习,hadoop,学习,hdfs

hadoop学习之hdfs学习,hadoop,学习,hdfshadoop学习之hdfs学习,hadoop,学习,hdfs

配置Window环境

  1. dll放入system32
  2. 配置环境变量(Hadoop)

流程: 连 用 关
hadoop学习之hdfs学习,hadoop,学习,hdfs

hadoop学习之hdfs学习,hadoop,学习,hdfs
1.创建客户端连接对象
hadoop学习之hdfs学习,hadoop,学习,hdfs
hadoop学习之hdfs学习,hadoop,学习,hdfs
hadoop学习之hdfs学习,hadoop,学习,hdfs
hadoop学习之hdfs学习,hadoop,学习,hdfs
hadoop学习之hdfs学习,hadoop,学习,hdfs文章来源地址https://www.toymoban.com/news/detail-578490.html

到了这里,关于hadoop学习之hdfs学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop入门学习笔记——三、使用HDFS文件系统

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 3.1.1. HDFS文件系统基本信息 HDFS和Linux系统一样,均是以 / 作为根目录的组织形式; 如何区分HDFS和Linux文件系统: Linux文件系统以 file:// 作为

    2024年01月16日
    浏览(35)
  • hadoop生态圈-- 个人笔记学习05 HDFS优化

    DFSClient和DN在一个节点 —— local reads,远程阅读 Remote reads。 处理方式是一样的 DN读数据 通过RPC(TCP协议)把数据给DFSClient。DN在中间会做中转,处理简单但是性能收影响 (Local read的情况下,会希望绕过DN直接读取Data,这就是 短路 DFSClient自行打开文件读取数据,需要配置白名

    2024年02月13日
    浏览(73)
  • 0202hdfs的shell操作-hadoop-大数据学习

    以下命令执行默认配置了hadoop的环境变量,且使用新命令。 一键启停脚本 独立进程启停 2.1 HDFS文件系统基本信息 HDFS作为分布式存储的文件系统,有其对数据的路径表达式。如果熟悉Linux文件系统,可以对比学习。 HDFS同Linux系统一样,均是以/作为根目录的组织形式 如何区分

    2024年02月10日
    浏览(51)
  • hadoop(学习笔记) 4----怎么把文件放到hdfs上?

    怎么把文件放到hdfs上? 首先就是需要将hdfs相关程序启动起来----namenode和datanode namendoe-相当于目录,不进行文件信息的存储 datanode-真正数据存放的位置 但namenode的默认存放位置在tmp文件下,tmp又是临时文件,随时可能被系统清除,我们存放在hdfs上的数据并不安全,所以我们需要修改

    2024年02月04日
    浏览(40)
  • Hadoop3.0大数据处理学习2(HDFS)

    HDFS:Hadoop Distributed File System。Hadoop分布式存储系统 一种允许文件通过网络在多台主机上分享的文件系统,可以让多机器上的用户分享文件和存储空间。 两大特性:通透性、容错性 分布式文件管理系统的实现很多,HDFS只是其中一种,HDSF不适合存储小文件。GFS、TFS。 使用格式

    2024年02月08日
    浏览(50)
  • Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 下载Hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署结构如下图所示: 本次部署服务清单如下表所示

    2024年02月01日
    浏览(42)
  • 从零开始的Hadoop学习(五)| HDFS概述、shell操作、API操作

    1.1 HDFS 产出背景及定义 1) HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切 需要一种系统来管理多台机器上的文件 ,这就是分布式文件管理系统。 HDFS只是分布式文件管理系统

    2024年02月10日
    浏览(52)
  • 从零开始的Hadoop学习(六)| HDFS读写流程、NN和2NN工作机制、DataNode工作机制

    1.1 HDFS写数据流程 1.1.1 剖析文件写入 (1)客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 (2)NameNode 返回是否可以上传。 (3)客户端请求第一个 Block 上传到哪几个 DataNode 服务上。 (4)NameNode 返回 3个 DataN

    2024年02月10日
    浏览(49)
  • Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

    配置核心文件 core-site.xml 编辑core-site.xml(进入hadoop文件夹内) hdfs-site.xml yarn-site.xml mapred-site.xml 配置完后要分发给其他服务器,可以使用之前写的分发脚本xsync进行快速分发 配置workers(各集群节点) 启动集群 如果集群是第一次启动 ,需要在 hadoop102 节点格式化 NameNode(注意:格式

    2024年02月08日
    浏览(43)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通创建: hadoop fs -mkdir /xiaolin 递归创建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名称相同时覆盖hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包