1. Toy模板网首页
  2. > Toy博客

SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性

10月前 作者：ApacheSeaTunnel 分类：Toy博客 阅读(68) 违法举报

这篇具有很好参考价值的文章主要介绍了SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性

近日，Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 发布已有两个多月，期间我们收集并根据用户和开发者的反馈，在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复，提高了引擎的稳定性和使用效率。

此外，新版本还对 Connector-V2 中的连接器进行了功能和性能优化，同时 SQL Transfrom 支持了自定义 UDF 函数，Zeta Engine 也提供了通过 Rest API 的方式进行集群的监控和查询操作。

本文将为大家介绍 Apache SeaTunnel 2.3.2 版本更新内容具体情况。

  • Release Note: https://github.com/apache/seatunnel/blob/2.3.2-release/release-note.md
  • 下载地址：https://seatunnel.apache.org/download

新功能

本次更新，Zeta Engine 支持了以 RestAPI 的方式获取任务和系统的监控信息，用户可以通过调用 HTTP 请求到任意节点完成数据信息请求，增强了任务的监控能力。

详情可参考：https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest-api

此外，2.3.2 版本中 SQL Transform 支持了自定义 UDF 函数，详细用法请参考：https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf

Core

[Core] [API] 支持将字符串转换为List选项 (#4362)
[Core] [API] 在创建源、接收器和转换之前添加选项检查到FactoryUtil中 (#4424)
[Core] [Shade] 添加guava shade模块 (#4358)

Connector-V2

  • [Connector-V2] [CDC] [SQLServer] 支持多表读取 (#4377)
  • [Connector-V2] [Kafka] Kafka源支持跳过数据反序列化失败 (#4364)
  • [Connector-V2] [Jdbc] [TiDB] 添加了TiDB目录 (#4438)
  • [Connector-V2] [File] 添加了文件Excel的源和接收器 (#4164)
  • [Transform-V2] 添加了UDF SPI和一个示例实现，用于SQL转换插件 (#4392)
  • [Transform-V2] 支持复制字段列表 (#4404)
  • [Transform-V2] 为FieldMapperTransform添加了CatalogTable支持 (#4423)
  • [Transform-V2] 为ReplaceTransform添加了CatalogTable支持 (#4411)
  • [Transform-V2] 为FilterRowKindTransform添加了Catalog支持 (#4420)
  • [Transform-V2] 为FilterFieldTransform添加了CatalogTable支持 (#4422)

Zeta Engine

  • [Zeta] 支持Factory和Plugin SPI的混合使用 (#4359)
  • [Zeta] 添加了通过作业ID获取运行中作业信息的REST API (#4140)
  • [Zeta] 添加了获取系统监控信息的REST API (#4315)
  • [Transform V2 & Zeta] 使SplitTransform支持CatalogTable和CatalogTable演化 (#4396)

改进

Apache SeaTunnel 2.3.2 版本对 Zeta 引擎进行了稳定性修复，解决了内存占用过高不释放的问题，同时解决了大量资源占用问题，对性能也做了相应的优化。

Core

  • [Core] [Spark] 将转换操作从Spark Driver推送到Executors (#4503)
  • [Core] [Starter] 优化代码结构，删除冗余代码 (#4525)
  • [Core] [Translation] [Flink] 优化代码结构，删除冗余代码 (#4527)

Connector-V2

  • [Connector-V2] [CDC] 改进startup.mode/stop.mode选项 (#4360)
  • [Connector-V2] [CDC] 优化jdbc fetch-size选项 (#4352)
  • [Connector-V2] [SQLServer] 修复了SQL Server目录的问题 (#4441)
  • [Connector-V2] [StarRocks] 改进StarRocks序列化错误消息 (#4458)
  • [Connector-V2] [Jdbc] 添加了SQL日志，并更新了一些样式 (#4475)
  • [Connector-V2] [Jdbc] 修复了多个表时无法自动获取表名的问题 (#4514)
  • [Connector-V2] [S3 & Kafka] 删除不可用的S3和Kafka目录 (#4477)
  • [Connector-V2] [Pulsar] 支持Canal格式

Zeta Engine

  • [Zeta] 支持通过守护进程模式运行服务器 (#4161)
  • [Zeta] 使用ClassLoader改进客户端的SDK兼容性 (#4447)
  • [Zeta] 客户端支持异步提交作业 (#4456)
  • [Zeta] 增加更详细的日志输出 (#4446)
  • [Zeta] 改进seatunnel-cluster.sh脚本 (#4435)
  • [Zeta] 当任务未准备好时，降低CPU消耗 (#4479)
  • [Zeta] 添加解析器日志 (#4485)
  • [Zeta] 删除冗余代码 (#4489)
  • [Zeta] 在validateSQL中删除冗余代码 (#4506)
  • [Zeta] 改进JobMetrics的性能 (#4467)

Bug修复

Core

*[Core] [API] 修复了列表的通用类丢失的问题 (#4421)
*[Core] [API] 修复了解析嵌套行数据类型键变为大写的问题 (#4459)

Connector-V2

  • [Json-format] [Canal-Json] 修复了JSON反序列化时的空指针异常问题 (#4195)
  • [Connector-V2] [Jdbc] 修复了在JDBC源查询中不支持字段别名的问题 (#4210)
  • [Connector-V2] [Jdbc] 修复了连接超时导致连接失败的问题 (#4322)
  • [Connector-V2] [Jdbc] 将JdbcOption: generate_sink_sql的默认值设置为false (#4471)
  • [Connector-V2] [Pulsar] 修复了无法持续消费消息的问题 (#4125)
  • [Connector-V2] [Eleasticsearch] 修复了文档描述错误的问题 (#4390)
  • [Connector-V2] [Eleasticsearch] 修复了源反序列化错误和不适当的问题 (#4233)
  • [Connector-V2] [Kafka] 修复了KafkaProducer资源从未被释放的问题 (#4302)
  • [Connector-V2] [Kafka] 修复了client.id导致权限问题的问题 (#4246)
  • [Connector-V2] [Kafka] 修复了提交偏移错误导致KafkaConsumerThread退出的问题 (#4379)

Zeta Engine

  • [Zeta] 修复了LogicalDagGeneratorTest测试用例的问题 (#4401)
  • [Zeta] 修复了MultipleTableJobConfigParser仅解析一个转换的问题 (#4412)
  • [Zeta] 修复了缺少common插件jar包的问题 (#4448)
  • [Zeta] 修复了在检查点已完成时仍调用handleCheckpointError的问题 (#4442)
  • [Zeta] 修复了作业错误消息不正确的bug (#4463)
  • [Zeta] 修复了查找TaskGroup部署节点的bug (#4449)
  • [Zeta] 修复了配置文件的bug (#4488)
  • [Zeta] 修复了从zeta加载连接器的逻辑问题 (#4510)
  • [Zeta] 修复了hadoop-hdfs的冲突依赖问题 (#4509)

E2E

*[E2E] [Kafka] 修复了Kafka端到端测试用例的问题 (#4520)
*[Container Version] 修复了无法重现的测试用例风险问题 #4591

文档优化

  • [Docs] 优化了Doris和SelectDB连接器文档的部分内容 (#4365)
  • [Docs] 修复了文档中的代码样式问题 (#4368)
  • [Docs] 更新了jdbc文档和kafka文档 (#4380)
  • [Docs] 修复了max_retries默认值为0的问题 (#4383)
  • [Docs] 修复了Markdown语法问题 (#4426)
  • [Docs] 修复了Kafka文档错误的配置键 "kafka." (#4427)
  • [Docs] 添加了快速入门v2中的Transform部分 (#4436)

贡献者名单

感谢白鲸开源工程师 范佳 对本次版本发布的支持，以及以下社区小伙伴的贡献！

Andrew Wetmore,

Bibo,

Carl-Zhou-CN,

Cason-ACE,

Chengyu Yan,

CodingGPT,

dalong,

Eric,

FlechazoW,

Guangdong Liu,

Hao Xu,

J.A.R.V.I.S,

Kim,

Laglangyue,

Marvin,

TaoZex,

Tyrantlucifer,

Xiaojian Sun,

ZhilinLi,

Zongwen Li,

dylandai,

gnehil,

hailin0,

ic4y,

kezhenxu94,

lightzhao,

lucklilili,

lvshaokang,

mengxiaopeng,

monster,

songjianet,

stdnt-xiao,

thomasc,

will27,

wyc,

xiaofan2012,

zhilinli,

沫

本文由 白鲸开源 提供发布支持！文章来源地址https://www.toymoban.com/news/detail-499761.html

到了这里，关于SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

    恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

    王海林 白鲸开源研发工程师 GitHub ID：hailin0 做过性能监控、数据开发平台等，目前聚焦在数据集成同步及其周边生态的研发 问：作为白鲸开源的一员，您为社区做出过哪些贡献？具体方案（代码类）和贡献事迹有哪些？ 最开始参与到社区，主要是贡献一些连接器插件以及修

    2024年02月13日
    浏览(41)

  • Apache arrow顶级项目调试

    arrow官方从7.x版本开始提供了一个gdb工具，叫做gdb_arrow.py，可以在仓库里面下载下来。 调试原理可以阅读之前写的文章： 玩转C++调试之Python的GDB库增强 使用办法非常简单，直接： 如果在gdb里面source没报错，那么恭喜你加载成功。 在随后的print arrow的内部结构时，便可以直接

    2024年02月09日
    浏览(34)
  • 【源码编译】Apache SeaTunnel-Web 适配最新2.3.4版本教程

    【源码编译】Apache SeaTunnel-Web 适配最新2.3.4版本教程

    Apache SeaTunnel新版本已经发布，感兴趣的小伙伴可以看之前版本发布的文章 本文主要给大家介绍为使用2.3.4版本的新特性，需要对Apache SeaTunnel-Web依赖的版本进行升级，而SeaTunnel2.3.4版本部分API跟之前 版本不兼容 ，所以需要对 SeaTunnel-Web的 源码进行修改 适配。 克隆SeaYunnel-We

    2024年04月14日
    浏览(36)

  • JuiceFS v1.0 正式发布，首个面向生产环境的 LTS 版本

    今天，JuiceFS v1.0 发布了 🎉 经过了 18 个月的持续迭代和大量生产环境的广泛验证，此版本将成为第一个被长期维护的稳定版（LTS）。同时，该版本提供完整的向前兼容，所有用户可以直接升级。 JuiceFS 是为云环境设计的分布式文件系统，同时兼容 POSIX、HDFS、S3 访问协议，也

    2024年01月18日
    浏览(65)

  • 开放源码：Flink 是 Apache 顶级开源项目，其源码开放透明，允许社区成员贡献代码，为大数据生态发展提

    作者：禅与计算机程序设计艺术 Apache Flink 是 Apache 基金会旗下的一个开源项目，其核心功能包括对实时事件流处理、批处理等进行统一计算模型抽象，同时支持多种编程语言和运行环境，具备高容错性、高并发、低延迟等特性。通过可插拔的 API 和丰富的数据源、算子和 Si

    2024年02月07日
    浏览(54)

  • Apache Doris 2.1.1 版本正式发布！

    亲爱的社区小伙伴们，Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化，提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。 立即下载： https://doris.apache.org/download/ GitHub Release: ht

    2024年04月13日
    浏览(44)

  • Apache Doris 2.0.1 & 1.2.7 版本正式发布！

    亲爱的社区小伙伴们，我们很高兴的宣布， 2023 年 9 月 4 日 我们正式发布了 Apache Doris 2.0.1 和 Apache Doris 1.2.7 这两个版本 ，这两个版本由上百名位贡献者共同努力完成的，提供了更多有用的新特性，同时修复了若干已知的问题，进一步提升了系统的性能和稳定性，欢迎大家下

    2024年02月10日
    浏览(42)
  • 谁能成为首个RedCap规模商用的厂商？

    谁能成为首个RedCap规模商用的厂商？

    RedCap在“降本、小尺寸、低功耗”的呼声中逐渐成为后5G时代的宠儿，随着相关技术的成熟，RedCap如何进一步商用成为行业关注的焦点。RedCap的发展，离不开运营商、芯片厂商、终端厂商、模组厂商等产业关键节点的通力合作。 那RedCap离正式商用还有多远？今天，我们就从产

    2024年02月16日
    浏览(39)
  • Apache DolphinScheduler 官方发布3.2.0版本！大数据调度【重磅更新】

    Apache DolphinScheduler 官方发布3.2.0版本！大数据调度【重磅更新】

    今天，Apache DolphinScheduler 3.2.0 版本在万众期待中终于发布了！在之前的预告中，包括《重磅预告！Apache DolphinScheduler 3.2.0 新功能“剧透”》、《3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能》、《3.2.0 版本预告！远程日志解决 Worker 故障获取不到日志的问题》，以及《

    2024年01月17日
    浏览(56)

  • 01 - Apache Seatunnel 源码调试

    选择 seatunnel-examples ├── seatunnel-engine-examples ├── seatunnel-flink-connector-v2-example ├── seatunnel-spark-connector-v2-example 注意：需要调试哪些数据库，使用相应 connector ，就要在 pom 文件中添加。 如果需要其他的，自己补充即可

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包