Apache DolphinScheduler 社区 3 月月报

这篇具有很好参考价值的文章主要介绍了Apache DolphinScheduler 社区 3 月月报。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

各位热爱 DolphinScheduler 的小伙伴们,DolphinScheduler 社区月报开始更新啦!这里将记录 DolphinScheduler 社区每月的重要更新。

社区为 DolphinScheduler 3.2.x 版本做了诸多功能改进和 bug 修复

DolphinScheduler 月度 Merge Stars

感谢以下小伙伴 3 月为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后):

@abzymeinsjtu,@pinkfloyds,@zero-element,@liuchunhua,@SbloodyS,@Gallardot,@devosend,@caishunfeng,@zhongjiajie,@cqutwangyu,@Tianqi-Dotes,@arlendp,@wustlz,@ZhongJinHacker,@rickchengx,@ruanwenjun,@calvinjiang,@pegasas,@silentxingtian,@EricGao888,@whhe

DolphinScheduler

Fix

  • [bug][ui]添加缺失的数据源并更新数据源ID @whhe
  • [Bug]修复TaskGroupCoordinator可能在等待的TaskGroup队列较多时导致内存溢出(OOM)问题。 @ruanwenjun
  • [Fix-15771]修复普通用户可以授予项目权限的问题。 @silentxingtian
  • [Bug][Worker]将jre替换为jdk @Gallardot
  • [Fix]添加资源全名检查 @caishunfeng
  • [Bug]修复开关逻辑任务不检查分支是否存在 @ruanwenjun
  • [Bug]修复延时执行任务将永远不会被调度。 @ruanwenjun
  • [Fix-15698][UI]在新标签页中打开时,关闭定义 @arlendp
  • [Bug]在存在未完成实例的特定工作流版本下,禁止删除该版本。 @ruanwenjun
  • [bug][Plugins]请检查readme.md中的拼写错误 @ZhongJinHacker
  • [Fix][Master]解决Worker故障时可能存在的风险隐患 @ZhongJinHacker
  • [Fix-15679][UI]修复开关状态按钮显示不正常的问题 @liuchunhua
  • [Bug]修复单元测试 @caishunfeng
  • [Fix]为Apache DolphinScheduler的任务切换添加黑色键 @caishunfeng
  • [Fix-15639] [Master]参数传递为null时引发空指针异常(Null Pointer Exception,NPE) @liuchunhua
  • [Bug] [Worker]修复:为Linux用户创建带有主目录的帐户 @zero-element
  • [Bug]即使任务被杀死,调度器Apache DolphinScheduler仍可能重新分派修复任务(Fix task)。 @ruanwenjun
  • [Bug]修复功能可以修改非资源路径下的文件 @ruanwenjun
  • [bug] [dolphinscheduler-ui]Apache DolphinScheduler的UI定时调度器优化 @cqutwangyu

Improvement

  • [Improvement][RemoteLogging]将初始化操作移至日志处理器中 @pegasas
  • [Improvement]从dolphinscheduler_mysql.sql中移除replace sql_mode的语句 @ruanwenjun
  • [Improvement]添加警报脚本路径检查 @caishunfeng
  • [Improvement]更换JavaScript引擎 @caishunfeng
  • [Improvement]删除未使用的方法 @EricGao888
  • [Improvement-15725][UI]项目的首选项默认选项可以被清除。 @calvinjiang
  • [Improvement-15723][UI]解决项目偏好未能替换所有相关影响位置的问题。 @calvinjiang
  • [Improvement-15719]删除ProcessUtils中的无用方法 @rickchengx
  • [Improvement-15707][Master]解决任务依赖的 workflow无法正常运行的问题。 @calvinjiang
  • [Improvement-15694][UI]在任务节点保存任务后,使用的背景颜色有误。 @calvinjiang
  • [Improvement-15692][task-datasync]请将DatasyncTaskTest的Mockito测试文件重写,但不要翻译Apache DolphinScheduler中的固有名词,如fix和feature,也不要解释原始文本。 @Tianqi-Dotes
  • [Improvement-15603][API]在删除或修改工作流时,系统会检查是否有任务依赖于它。 @calvinjiang
  • [Improvement][UT]提高Worker运行器的覆盖率 @pegasas

其他

  • [TEST]完善告警组服务测试 @abzymeinsjtu
  • [CI]修复前端CI无法触发的问题 @SbloodyS
  • [CI]合并之前,前端CI构建必须通过。 @SbloodyS
  • [CI]修复UI构建错误 @SbloodyS
  • [TEST]填充访问令牌测试 @abzymeinsjtu
  • 修复“启动参数覆盖全局参数”时的NullPointerException问题 @wustlz
  • [Doc]解决持续集成文档检查超时问题 @SbloodyS
  • [Doc][remote shell]Apache DolphinScheduler 3.2.1版本缺少远程shell文档。 @pegasas
  • [TEST]修复与日志服务器相关的测试 @abzymeinsjtu
  • 任务:修改一些CODEOWNERS @zhongjiajie

apache/dolphinscheduler-sdk-python

  • 将ruff升级以修复CI问题 @zhongjiajie

apache/dolphinscheduler-website

  • 在index页面添加版权信息 @devosend
  • 修复Apache DolphinScheduler的链接问题 @devosend
  • [ 在Windows上运行'yarn generate'时,出现错误"找不到模块..." ]( https://github.com/apache/dolphinscheduler-website/pull/951 " 在Windows上运行'yarn generate'时,出现错误"找不到模块..." ") @pinkfloyds
  • 添加两篇博客 :《Apache DolphinScheduler 从 1.3.4 升级至3.1.2 过程中的问题记录及解决方案》、《企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发?》@pinkfloyds

本文由 白鲸开源 提供发布支持!文章来源地址https://www.toymoban.com/news/detail-847926.html

到了这里,关于Apache DolphinScheduler 社区 3 月月报的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Apache DolphinScheduler-3.2.0集群部署教程

    Apache DolphinScheduler官网:https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0 截止2024-01-19,最新版本:3.2.0 部署版本:apache-dolphinscheduler-3.2.0-bin.tar.gz 主机名 ip 部署服务 hadoop31 192.168.0.31 MasterServer、WorkerServer、ApiServer hadoop32 19

    2024年03月11日
    浏览(47)
  • Apache DolphinScheduler数仓任务管理规范

    前言: 大数据领域对多种任务都有调度需求,以离线数仓的任务应用最多,许多团队在调研开源产品后,选择Apache DolphinScheduler(以下简称DS)作为调度场景的技术选型。得益于DS优秀的特性,在对数仓任务做运维和管理的时候,往往比较随意,或将所有任务节点写到一个工作

    2024年02月19日
    浏览(37)
  • 使用 Apache DolphinScheduler 进行 EMR 任务调度

    By AWS Team 随着企业规模的扩大,业务数据的激增,我们会使用 Hadoop/Spark 框架来处理大量数据的 ETL/聚合分析作业,⽽这些作业将需要由统一的作业调度平台去定时调度。 在 Amazon EMR 中,可以使用 AWS 提供 Step Function,托管 AirFlow,以及 Apache Oozie 或 Azkaban 进行作业的调用。但随

    2024年02月16日
    浏览(40)
  • 【用户案例】太美医疗基于Apache DolphinScheduler的应用实践

    大家好,我叫杨佳豪,来自于太美医疗。今天我为大家分享的是Apache DolphinScheduler在太美医疗的应用实践。今天的分享主要分为四个部分: 使用历程及选择理由 稳定性的改造 功能定制与自动化部署 运维巡检与优化 公司介绍 我们是一家专注于生命科学产业的运营平台公司,

    2024年04月15日
    浏览(35)
  • 如何快速在 Apache DolphinScheduler 新扩展一个任务插件?

    作者 | 代立冬 编辑 | Debra Chen Apache DolphinScheduler 是现代数据工作流编排平台,具有非常强大的可视化能力,DolphinScheduler 致力于使数据工程师、分析师、数据科学家等数据工作者都可以简单轻松地搭建各种数据工作流,让数据处理流程更简单可靠。 DolphinScheduler 非常易于使用

    2024年02月08日
    浏览(41)
  • Apache DolphinScheduler的资源中心开启HDFS功能

    资源中心通常用于上传文件、UDF函数。 可以选择上传到Hadoop集群 DolphinScheduler的资源中心默认是不能往HDFS上传文件的,需要我们配置进行开启 注意:如果Hadoop集群的NameNode配置了HA的话,需要将Hadoop集群下的core-site.xml和hdfs-site.xml复制到dolphinscheduler/conf目录下 重启DolphinSched

    2023年04月09日
    浏览(35)
  • Apache DolphinScheduler——开源大数据调度器神器(国人之光)

    本文已参与「新人创作礼」活动,一起开启掘金创作之路。    Apache DolphinScheduler(海豚调度) ,国人之光,是许多国人雷锋开源在Apache的顶级项目,主要功能就是负责任务的调度处理。 1.1 概 念    Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化DAG工作流任务调度

    2024年02月15日
    浏览(42)
  • Apache Dolphinscheduler 最新 3.1.4 概述和安装(1)

    Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的

    2024年02月07日
    浏览(54)
  • Apache Dolphinscheduler如何不重启解决Master服务死循环

    Apache Dolphinscheduler作为一个开源的调度平台,目前已经更新到了3.X版本,4.0版本也已经呼之欲出。3.0版本作为尝鲜版本,新添加了许多的功能,同时也存在非常多的隐患,本人使用3.0版本作为生产调度也踩了很多坑,到现在依然存在很多难以解决的问题,所以建议小伙伴们尽

    2024年02月06日
    浏览(41)
  • 【干货】Apache DolphinScheduler2.0升级3.0版本方案

    因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1 和 3.1.1 两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1 版本 原因: 1. 3.1.1 在测试sql任务时 ,同时启动上百sql 任务

    2024年03月26日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包