目录
一、Hadoop的诞生
二、大数据概述
三、大数据软件生态
3.1 数据存储相关技术
3.2 数据计算相关技术
3.3 数据传输相关技术
四、什么是Hadoop
本篇主要讲解大数据的核心概念以及Hadoop的基本介绍。
一、Hadoop的诞生
大数据的发展与日益庞大的数据量是密不可分的。从2000年左右开始，全球互联网逐步建成。各大企业和政府机构有海量数据亟须解决。
08年之前，大数据技术是大型企业的高精尖技术。08年之后，因为Hadoop的开源，使得一些中小企业也能运用大数据技术，处理日益庞大的数据量了。
从Hadoop开始，大数据就开始蓬勃发展起来了。从它上面推生出众多的技术栈。
二、大数据概述
使用分布式技术完成海量数据的处理，得到数据蕴藏的价值。
大数据的5个主要特征
一句话总结就是：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。
由此得出大数据的三大核心工作：海量数据的计算、存储、传输
三、大数据软件生态
3.1 数据存储相关技术
Apache Hadoop框架内的组件HDFS
是大数据体系中使用最为广泛的分布式存储技术。
Apache HBase
HBase是大数据体系内使用非常广泛的NoSQL kv型数据库技术。
HBase是基于HDFS之上构建的技术。
Apache Kudu
Apache Kudu同样为大数据体系中使用较多的分布式存储引擎。
云平台存储组件
各大云平台厂商也有相应的大数据存储组件。如阿里云的OSS，AWS的S3等等。
3.2 数据计算相关技术
Apache Hadoop框架内的组件MapReduce
Apache Hadoop的MapReduce组件是最早一代的大数据分布式计算引擎，对大数据的发展做出了卓越的贡献！
Apchache Hive
Apache Hive是一款以SQL为主要开发语言的分布式计算框架。其底层使用了Hadoop的MapReduce技术。
Apache Hive诞生很早，至今仍活跃在大数据一线，被许多公司使用。
Apache Spark
Apache Spark是目前全球范围内最火热的分布式内存计算引擎。
是大数据体系中的明星计算产品。
Apache Flink
Apache Flink同样也是一款明星级的大数据分布式内存计算引擎。特别是在实时计算（流计算）领域，Flink占据了大数据的国内市场。
3.3 数据传输相关技术
Apache Kafka
Apache Kafka是一款分布式的消息系统，可以完成海量规模的数据传输工作。
Apache Kafka在大数据领域也是明星产品。
Apache Pulsar
Apache Pulsar同样也是一款分布式的消息系统。在大数据领域中也有非常多的使用者。
Apache Flume
Apache Flume是一款流式数据采集工具，可以从非常多的数据源中完成数据采集传输的任务。
🍑PS：以上只是列举了大数据技术中的一部分，实际上还包含很多技术。这里就不一一列举了。
四、什么是Hadoop
简单说，Hadoop包含：
分布式数据存储技术（HDFS）
分布式数据计算技术（MapReduce）
分布式资源调度技术（YARN）
从前面讲解中，我们可以清楚的发现，Hadoop包含了大数据三大核心任务的前两个：海量数据的计算和存储。
关于Hadoop的版本分为两种，一种是Apache官方的开源社区版，另一种是各商业公司根据开源社区版个性化定制的商业发行版。本教程主要以开源社区版为例进行讲解。
文章来源：https://www.toymoban.com/news/detail-623765.html
文章来源地址https://www.toymoban.com/news/detail-623765.html
到了这里，关于大数据技术之Hadoop（二）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
