Apache Doris 2.1.1 版本正式发布!

这篇具有很好参考价值的文章主要介绍了Apache Doris 2.1.1 版本正式发布!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

  • 立即下载: https://doris.apache.org/download/

  • GitHub Release: https://github.com/apache/doris/releases

1 行为变更

  1. 改变了 Float 类型字段返回值序列化的方式,可以提升大数据量下 Float 返回的性能。

  2. 将部分 Table Valued Function 变更为系统表 active_queries(), workload_groups()

  3. 由于 show query``/l``oad profile stmt 语句在实际用户场景中使用较少,该语句将不再支持与维护。同时该功能在 Pipeline 与 PipelineX 引擎中不支持。

  4. 升级 Arrow Flight 版本至 15.0.2,同时用户需要使用 ADBC 15.0.2 版本访问 Doris。

2 升级问题

  1. 修复了从 2.0.x 滚动升级至 2.1.x 的过程中,部分 BE 节点升级出现 Core 的问题。

  2. 修复了在 2.0.x 滚动升级至 2.1.x 过程中,使用 JDBC Catalog 会出现 Query 报错的问题。

3 新功能

  1. 默认开启列级权限。

  2. Pipeline 和 PipelineX 引擎能够在 K8S 下准确获取 CPU 核数。

  3. 支持读取 Parquet INT96 类型

  4. 支持 IP 透传的协议,以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址,实现白名单权限控制。

  5. 增加对 Workload Queue 检测指标。

  6. 增加系统表 backend_active_tasks ,以实时监测每个 BE 上活跃任务以及消耗的资源信息。

  7. 在 Spark Doris Connector 中增加 IPV4 和 IPV6 的支持。

  8. CCR 支持倒排索引。

  9. 支持查询 Experimental 的 Session Variable。

  10. 支持建立 bitmap_union(bitmap_from_array()) 函数的物化视图。

  11. 支持对 Hive 中 HIVE_DEFAULT_PARTITION 分区进行列裁剪。

  12. 支持 set variable 语句中使用函数。

  13. Arrow 序列化方式增加对 Variant 类型的支持。

4 改进与优化

  1. 当系统自动重启或者滚动升级之后,自动启动 Routine Load 导入任务。

  2. 优化了 Routine Load 任务在各个 BE 上的分布方式,让各个 BE 负载更加均衡。

  3. 升级 Spark 的版本,解决部分 Spark Load 的安全问题。

  4. 在冷热分离过程中,自动跳过被删除的 Tablet.

  5. Workload Group 支持对 Routine Load 的资源进行限制。

  6. 大幅度优化多表物化视图查询改写性能。

  7. 优化 Broker Load 任务对 FE 的内存使用

  8. 优化 Partition 的裁剪逻辑。

  9. 优化 Tablet Schema Cache 对 BE 内存使用。

  10. 多表物化视图增加更多对 JOIN 类型的支持,包括 INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOIN

5 Bugs 修复

  1. 修复 TopN 下推导致的问题。

  2. 修复 JAVA UDF 带来的内存泄露问题。

  3. 修复 ODBC 表备份恢复问题。

  4. 修复对 Variant 类型进行运算时常量折叠会导致 BE 出错的问题

  5. 修复了部分导入任务失败时 Routine Load 卡住的问题。

  6. 修复 SEMI JOIN 结果不正确的问题。

  7. 当列的数据为空时,修复建立倒排索引会出错的问题。

  8. 修复<=> join 操作会出现 Core 的问题。

  9. 修复部分列更新在有 Sequence 列结果准确性的问题。

  10. 修复 Select Outfile 导出到 Parquet 或者 ORC 格式的列类型映射问题。

  11. 修复在 Restore 过程中 BE 有时候会 Core 的问题。

  12. 修复 array_agg 函数结果不对的问题。

  13. 使 Variant 类型应当一直是 nullable.

  14. 修复 Schema Change 没有正确处理空 Block 的问题。

  15. 修复使用 json_length() 函数时部分场景会出错的问题。

  16. 修复 Iceberg 表没有正确处理 Date Cast 转换的问题。

  17. 修复 Variant 类型建立 Index 时出现的部分 Bug。

  18. 修复当多个 map_agg 函数同时使用时结果不正确的问题。

  19. 修复 money_format 函数的返回结果不正确的问题。

  20. 修复在高并发的建立链接时部分请求会卡住的问题。文章来源地址https://www.toymoban.com/news/detail-850477.html

到了这里,关于Apache Doris 2.1.1 版本正式发布!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式数据库Apache Doris简易体验

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月06日
    浏览(47)
  • 分布式数据库Apache Doris HA集群部署

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月06日
    浏览(42)
  • 下一代实时数据库:Apache Doris 【二】编译与安装

    安装 Doris,需要先通过源码编译,主要有两种方式:使用 Docker 开发镜像编译(推荐)、直接编译。 直接编译的方式,可以参考官网:https://doris.apache.org/zh-CN/installing/compilation.html 2.1 安装 Docker 环境 Docker 要求 CentOS 系统的内核版本高于 3.10 ,首先查看系统内核版本是否满足 使用

    2024年02月14日
    浏览(44)
  • 开源免费用|Apache Doris 2.0 推出跨集群数据复制功能

    随着企业业务的发展,系统架构趋于复杂、数据规模不断增大,数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍,如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基础上,跨集群复制(Cross-Cluster Replication,CCR)应运而生,并逐渐成为数

    2024年02月14日
    浏览(32)
  • 使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

    Flink-Doris-Connector 1.4.0 允许用户一步将包含数千个表的整个数据库(MySQL或Oracle )摄取到Apache Doris(一种实时分析数据库)中。 通过内置的Flink CDC,连接器可以直接将上游源的表模式和数据同步到Apache Doris,这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。

    2024年02月09日
    浏览(43)
  • 大数据Doris(六十五):基于Apache Doris的数据中台2.0

    文章目录 基于Apache Doris的数据中台2.0 一、​​​​​​​架构升级

    2024年02月20日
    浏览(52)
  • Apache Doris (二十三) :Doris 数据导入(一)Insert Into

    目录 1. 语法及参数 2. 案例 ​​​​3. 注意事项 3.1. 关于插入数据量

    2024年02月13日
    浏览(40)
  • Apache Doris (三十):Doris 数据导入(八)Spark Load 3- 导入HDFS数据

    目录 1. 准备HDFS数据 2. 创建Doris表 3. 创建Spark Load导入任务 4. 查看导入任务状态 进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道࿰

    2024年02月16日
    浏览(35)
  • 【数据仓库】Apache Doris介绍

    Apache Doris应用场景 Apache Doris核心特性 Apache Doris架构 Aggregate模型介绍   Uniq模型介绍          在某些多维分析场景下,用户更关注的是如何保证Key的唯一性Key 唯一性约束。因此,我们引入了 Unig 的数据模型。该模型本质上是聚合模型的一个特例,也是一种简化的表结构表

    2024年02月12日
    浏览(53)
  • Apache Doris (二十八):Doris 数据导入(六)Spark Load 1- 原理及配置

    目录 1. 基本原理  2. Spark集群搭建 2.1 Spark Standalone 集群搭建 2.2 Spark On Yarn 配置

    2024年02月16日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包