Hadoop是根据Google三大论文为基础研发的，Google 三大论文分别是: MapReduce、 GFS和BigTable。
Hadoop的核心是两个部分：
一、分布式存储（HDFS，Hadoop Distributed File System）。
二、分布式计算（MapReduce）。
MapReduce
MapReduce是“ 任务的分解与结果的汇总”。
Map把数据切分——分布式存放、计算。
Reduce把分布计算得到的结果进行整合，汇总（Shuffle）得出最终的结果。
MapReduce是一种“分治”计算思想，把一个大任务分割成许多小单元，最后再将每个小任务单元结果汇总，求得最终结果。
HDFS
HDFS把文件切分成block块进行存储（默认block大小尺寸为128m），然后这些block块被复制到多个计算机中（DataNode）。这有一个容错机制，副本策略，默认一块数据会有三个block，当前机器存储一份（数据本地化），另外一个机架存储一份，该机架的不同机器存储一份。
Hadoop在处理大数据时候特别需要注意：
1、 非常适合处理超大规模的数据集（TB，PB量级），非常不适合处理大量小文件。
2、 Hadoop一次写入，多次读写。Hadoop不支持随机修改文件。
3、Hadoop数据处理高延迟，数据的实时性不高。原因很显然，因为处理的数据规模非常大且是以分布式方式存储，读写访问需要花费更多时间。
Hadoop特点总结：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。
Hive
简单说，Hive提供了一种独特的SQL查询语句，使得熟悉SQL的开发者通过编写SQL语句即可访问Hadoop存储的海量数据，通过hive的SQL查询语句，开发者可以在一定程度上绕过MapReduce。hive可以用SQL的语言转化成Map Reduce任务对hdfs数据的查询分析。hive的使用者无需写Map Reduce任务，掌握SQL可完成查询分析工作。
Hbase
Hbase是一种NoSQL数据库。HBase是非关系型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的使用效率更高。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）
写在最后
今天关于面试的分享就到这里，还是那句话，有些东西你不仅要懂，而且要能够很好地表达出来，能够让面试官认可你的理解，例如Handler机制，这个是面试必问之题。有些晦涩的点，或许它只活在面试当中，实际工作当中你压根不会用到它，但是你要知道它是什么东西。
最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。
还有 高级架构技术进阶脑图、Android开发面试专题资料，高级进阶架构资料 帮助大家学习提升进阶，也节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。
【Android核心高级技术PDF文档，BAT大厂面试真题解析】
【算法合集】
【延伸Android必备知识点】
文章来源：https://www.toymoban.com/news/detail-857615.html
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！
78)]文章来源地址https://www.toymoban.com/news/detail-857615.html
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！
到了这里，关于大数据：Hadoop基础常识hive，hbase，MapReduce，Spark的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
