大数据：HDFS存储原理，fsck命令查看文件副本状态，namenode元数据，edits流水账，fsimage合并，hdfs读取数据
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
大数据：HDFS存储原理
一个文件，分为part123
分别存储到服务器中
取回来呢
也是反向的合并即可
划分统一单位
hdfs中叫block块
大小可以修改
如果丢失了一个block怎么办？？？？
鸡蛋不要放在同一个篮子中
都有备份
有备份即可
安全
这就很清楚了对吧
fsck命令
默认3个
2个副本
不需要自己设置，基本上OK的
临时更改的命令
存在的文件，-setrep命令
-R命令
改了
1个副本了
fsck
files check简写，检查文件的副本个数
2个不同的服务器位置
健康的
无丢失
美滋滋
再看看1个副本的test_3呢
在102服务器上
本分好大啊
骚的
gg
都存在不同的机子上
一般我们不会修改的
namenode元数据
流水账
edits
用户想查询目标文件，gg
太慢了
你要整个文件都要找，确保最后一个命令骚操作，没有动它
流水账不行的，尴尬
把流水账合并
记录最终状态LRU即可
我们只记录最后的状态，即可
直接用fsimage搞定
俩都行
骚
这种是有点像那个啥了，垃圾清理策略
垃圾回收策略【python的】
用辅助角色搞定这个事情
secondarynamenode来搞定元数据的合并
美滋滋
edits流水账
fsimage合并流水账
hdfs数据的读写流程
数据写入hadoop服务器的流程
请求【client申请】
审核【namenode是老大】
给地址【去DataNode写数据】
发送数据，写【package】
备份【DataNode互相沟通，复制备份即可】
记录元数据【namenode的secondarynamenode】
结束
很简单的
干活就是一步一步干完事
老大namenode只负责审批和记录，不写数据哦
DataNode才是负责写数据
客户只发送一次数据，剩下的由DataNode之间来互相备份。
数据读取就更简单了
数据跟namenode没关系哦
它只负责审批
block列表计算网络距离，尽量把最近的给客户，这样读取速度快点
客户分批去各个block上读取即可
namenode自动计算
总结
提示：重要经验：文章来源：https://www.toymoban.com/news/detail-744493.html
1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。文章来源地址https://www.toymoban.com/news/detail-744493.html
到了这里，关于大数据：HDFS存储原理，fsck命令查看文件副本状态，namenode元数据，edits流水账，fsimage合并，hdfs读取数据的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![【Hadoop】-HDFS的存储原理[4]](https://imgs.yssmx.com/Uploads/2024/04/858768-1.png)
