Apache Oozie#
Linkedin Azkaban
#
Azkaban:最适合shell脚本,当job不多的时候,可以使用。
Apache Airflow
#
Airflow 在使用时有一大痛点:使用Python语言来定义工作流的。
Apache DolphinScheduler
#
特点:分布式、去中心化、易扩展的可视化工作流任务调度系统
海豚调度的多租户和我们YARN的多租户是对应起来的,这个非常好。
海豚调度出来的有点迟,它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了,后发优势,集万千优点于一身,缺点也避免了。
离线:用的Spark比较多,实时用 Flink比较多。
过载处理:airflow 任务过多时卡死服务器,DolphinScheduler任务队列机制,当任务过多时会缓存在任务队列中。文章来源:https://www.toymoban.com/news/detail-493609.html
推荐海豚DolphinScheduler任务器~~~~文章来源地址https://www.toymoban.com/news/detail-493609.html
到了这里,关于大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!