大数据组件系列-Hadoop每日小问-Toy模板网

这篇具有很好参考价值的文章主要介绍了大数据组件系列-Hadoop每日小问。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？

HDFS即Hadoop Distributed File System，Hadoop 分布式文件系统。它为的是解决海量数据的存储与分析的问题，它本身是源于Google在大数据方面的论文，GFS-->HDFS;

HDFS由Client、NameNode、DataNode、Secondary NameNode组成；Client负责响应用户的各种请求比如上传、下载等；NameNode负责存储HDFS的元数据和处理用户的读写请求，比如数据块存储在DataNode的哪个地方；DataNode负责存储实际的数据块和数据的读写功能，Secondary NameNode主要是辅助NameNode，分担其工作量；定期合并fsimage和fsedits，推送给NameNode；在紧急情况下，可辅助恢复NameNode。

适合场景

低成本：Hadoop不需要特别贵的机器，可运行于普通廉价机器，所以比较节约成本。

高容错：适合存储需要高容错性的文件存储，文件安全（HDFS高可用和高容错性体现之一就是block的副本机制和主备思想）

大数据：这里非常大指的是几百GB、TB、或者PB级别，需要高吞吐量，对数据读写延时没有要求。

高吞吐：扩展能力强：集群可以很快速拓展到很大规模，满足存放海量数据，这里一般是指PB,EB级别。

单次写入多次读取：适合一次写入、多次读取，既适合数据分析场景（适合OLAP场景）。但是数据读写延迟高，以及不支持单条update，不适合那些对数据访问毫秒级低延迟的应用。

2、HDFS小文件问题

定义

数据大小远小于默认数据块大小文件。

原因

hadoop设计之初是为了OLAP用的，后来越来越多的人，希望hadoop能朝着OLTP的方向发展，并产生了很多工具，例如spark,flink等。实时性要求越高，小文件就会越多。当然这也跟量也有关系，量越大，小文件越少，小文件问题越小。

影响

存储层面：因为元数据存储于内存当中，大量小文件占用大量内存。

计算层面：每个小文件都会起一个MapTask，1个MapTask默认内存1G。浪费资源。

解决方式

入库前：数据采集或标准入库之前，将小文件进行合并大文件再上传入库

存储：Hadoop Archive归档–>将多个小文件打包成一个HAR文件，减少对NN内存的使用

计算方面：CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片

其他：自己写一个MR程序将产生的小文件合并成一个大文件。如果是Hive或者Spark有merge功能自动帮助我们合并。有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的Task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间文章来源地址https://www.toymoban.com/news/detail-695670.html

到了这里，关于大数据组件系列-Hadoop每日小问的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！