例行导入功能为用户提供了义中自动从指定数据源进行数据导入的功能
1 适用场景
当前仅支持kafka系统进行例行导入。
2 使用限制
- 支持无认证的 Kafka 访问，以及通过 SSL 方式认证的 Kafka 集群。
- 支持的消息格式为 csv 文本格式。每一个 message 为一行，且行尾不包含换行符。
- 仅支持 Kafka 0.10.0.0(含) 以上版本。
3 基本原理
如上图，Client 向 FE 提交一个例行导入作业。
FE 通过 JobScheduler 将一个导入作业拆分成若干个 Task。每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。
在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。导入完成后，向 FE 汇报。文章来源：https://www.toymoban.com/news/detail-423730.html
FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进文章来源地址https://www.toymoban.com/news/detail-423730.html
到了这里，关于Doris（7）：数据导入（Load）之Routine Load的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
