Flink流批一体计算（4）：Flink功能模块-Toy模板网

这篇具有很好参考价值的文章主要介绍了Flink流批一体计算（4）：Flink功能模块。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Flink功能架构

Flink输入输出

Flink是分层架构的分布式计算引擎，每层的实现依赖下层提供的服务，同时提供抽象的接口和服务供上层使用。

Flink 架构可以分为4层，包括Deploy部署层、Core核心层、API层和Library层

Flink流批一体计算（4）：Flink功能模块

可以启动单个JVM，让Flink以local模式运行Flink，也可以以Standalone 集群模式运行，同时也支持Flink ON YARN，Flink应用直接提交到YARN上面运行，Flink还可以运行在GCE（谷歌云服务）和EC2（亚马逊云服务）

Core层（Runtime）在Runtime之上提供了两套核心的API，DataStream API（流处理）和DataSet API（批处理）

有状态的流式处理层：最底层的抽象仅仅提供有状态的数据流，它通过处理函数嵌入数据流API（DataStream API）中。用户可以通过它自由处理单流或者多流，并保持一致性和容错性。同时，用户可以进行注册事件时间和处理时间的回调，以实现复杂的计算逻辑

API层：主要实现了面向无界Stream的流式处理和面向Batch的批量处理API，其中，面向流式处理对应DataStream API，面向批量处理对应DataSet API。
库层：该层也可以称为“应用框架层”，它是根据API层的划分，在API层之上构建的满足特定应用的计算实现框架，也分别对应于面向流式处理和面向批量处理两类。面向流式处理支持复杂事件处理（Complex Event Processing，CEP）、基于SQL-like的操作（基于Table的关系操作）；面向批量处理支持FlinkML（机器学习库）、Gelly（图处理）。

SQL 既可以运行在DataStreamAPI上，又可以运行在DataSet API上。