1.Flink概述-Toy模板网

这篇具有很好参考价值的文章主要介绍了1.Flink概述。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.Flink概述,# Flink内核原理与实现,读书笔记,flink,大数据

应用框架层: 在API层之上构建的满足特定应用场景的计算框架，总体上分为流计算和批处理两类应用框架。
API 层： Flink对外提供能力的接口，实现了面向流计算的DataStream API和面向批处理的DataSet API。
运行时层：Flink计算的核心
- DAG抽象：拆分作业→任务，建立数据流链路
- 数据处理：包含了开发层面、运行层面的数据处理抽象，例如包含数据处理行为的封装、通用数据运算的实现（如Join、Filter、 Map等）。
- 容错：提供了集群级、应用级容错处理机制，保障集群、作业的可靠运行。
- 内存管理：内存管理、数据序列化：通过序列化，使用二进制方式在内存中存储数据，避免JVM的垃圾回收带来的停顿问题。
- 数据交换：数据在计算任务之间的本地、跨网络传递。
部署层：集群部署
- Standalone模式：Flink安装在普通的Linux机器上，或者安装在K8s中，集群的资源由Flink自行管理。
- Yarn、Mesos、K8s等资源管理集群模式：Flink向资源集群申请资源，创建Flink集群。
- 云模式
连接器（Connector）：Connector是Flink计算引擎与外部存储交互的IO抽象，是Source和Sink的具体实现。