ClickHouse及Greenplum与Doris性能对比

这篇具有很好参考价值的文章主要介绍了ClickHouse及Greenplum与Doris性能对比。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ClickHouse和DorisDB的对比:

  标准SQL语言支持

   ClickHouse:不支持标准SQL语言,无法直接对接主流的BI系统。

    DorisDB:支持标准的SQL语言,兼容MYSQL协议,可以直接对接主流的BI系统。

  分布式Join

   ClickHouse:几乎不支持分布式Join,在分析模型上仅支持大宽表模式。

    DorisDB:支持各种主流分布式Join,不仅支持大宽表模型,还支持星型模型和雪花模型。

  MPP架构

    ClickHouse:Scatter-Gather模式,聚合操作依赖单点完成,操作数据量大时存在明显性能瓶颈。

    DorisDB:现代化MPP架构,可以实现多层聚合,能够执行复杂的SQL查询,大表Join,高基数聚合查询等。

 精度去重

    ClickHouse:对高基数列进行精确去重操作时,受限于单点聚合的处理方式,性能瓶颈明显。

    DorisDB:现代化MPP架构,可以实现多层聚合,能有效利用多机资源,保证查询性能。

 Exactly Once语义

    ClickHouse:数据导入无事务保证,无法保证数据写入的“不丢不重”,订单类场景无法使用。

    DorisDB:数据导入有事务保证,可以很容易地实现Exactly Once语义,数据导入“不丢不重”。

  集群扩容

    ClickHouse:传统MPP数据分布方式,数据扩容时需要进行数据重分布,需要人工操作,工作量巨大,影响线上服务。

    DorisDB:现代化MPP数据分布方式,扩容只需要迁移部分数据分片走即可,系统自动完成,不影响线上服务。

  运维

    ClickHouse:分布式方案依赖Zookeeper,在集群扩大时,Zookeeper会变成性能瓶颈,额外运维和维护成本高。

    DorisDB:不依赖任何外部系统,整个系统只要两种进程,自动故障恢复,极简运维。

  社区生态

   ClickHouse:整个开源社区被俄罗斯把持,在中国没有商业化公司支持,使用上规模后技术支持无法保证。

    DorisDB:开源社区的核心研发都是中国人,在国内有商业化公司支持,服务更加本地化,技术支持无障碍。



GreenPlum和DorisDB的对比:

性能 

   GreenPlum:--

    DorisDB:相同硬件条件下,5-10倍的性能优势。

  实时分析

    GreenPlum:无法对实时数据进行增量聚合计算,较难支持实时数据的分析。

    DorisDB:新型的聚合表机制,可以支持实时数据的增量聚合计算,更好的支持DWS层和ADS层服务,更好的支持实时数据的分析。

  OLAP多维查询加速

    GreenPlum:无加速方案。

    DorisDB:新型的预聚合机制,能做到数据自动更新,查询智能路由,令多维查询速度提升10倍以上。

  高并发查询

    GreenPlum:传统MPP数据分布方式,小查询会极大消耗集群资源,无法实现高效并发查询。并且master只有单节点提供服务,master达到性能瓶颈时无法扩容。

    DorisDB:现代化MPP数据分布方式,数据按照分片的方式保存,小查询只需要用到部分机器资源,能极大的提高并发查询量,并且各模块均可线性扩展。

  存储结构

    GreenPlum:无按列排序支持。

    DorisDB:可按照指定列进行排序,更快的查询速度,更高的数据压缩比。

  高可用

    GreenPlum:传统MPP数据发布方式,数据扩容时需要进行数据重分布,需要人工操作,工作量巨大,影响线上服务。

    DorisDB:现代化MPP数据分布方式,扩容时只需要迁移部分数据分片即可,系统自动完成,不影响线上服务。

  集群扩容

    GreenPlum:分布式方案依赖Zookeeper,在集群扩大时,Zookeeper会变成性能瓶颈,额外运维和维护成本高。

    DorisDB:不依赖任何外部系统,整个系统只要两种进程,自动故障恢复,极简运维。

  资源利用效率

    GreenPlum:各节点备份节点不接受查询请求,计算资源浪费。无法支持统一张数据表冷热数据存放在不同的存储介质,无法有效利用SSD为热数据查询加速。

    DorisDB:所有节点都可参与查询处理,提高硬件资源利用率。支持将冷数据存放在不同的存储介质中,支持利用SSD为热数据查询加速。

  大数据规模

    GreenPlum:由于集群扩容代价太大,所以很难支持较大的数据规模。

    DorisDB:集群扩容代价小,可以支持10PB量级数据规模。

  总体持有成本

    GreenPlum:由于集群扩容代价太大,无法经常进行扩容操作,导致必选提前准备未来较长时间的机器资源和软件授权费,并且集群资源会处于利用率不高的状态。

    DorisDB:集群扩容代价小,可以按需进行逐步扩容,总体持有成本低,集群资源利用率高。文章来源地址https://www.toymoban.com/news/detail-449232.html

到了这里,关于ClickHouse及Greenplum与Doris性能对比的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ClickHouse与Doris数据库比较

    都说“实践是检验真理的唯一标准”,光说不练假把式,那么本文就通过实际的测试来感受一下Doris和clickhouse在读写方面的性能差距,看看Doris盛名之下,是否真有屠龙之技;clickhouse长锋出鞘,是否敢缚苍龙? 废话不多说,上货。 在这里,我使用多台物理机搭建了clickhouse和

    2024年01月22日
    浏览(50)
  • ClickHouse和Doris超大数据集存储

    ClickHouse和Doris是两种流行的超大数据集存储方案。虽然它们都面向超大数据集存储,但是它们的设计和实现却不尽相同。在本文中,我们将从实战经验的角度,介绍ClickHouse和Doris的区别,并讨论它们的适用场景。 ClickHouse是俄罗斯互联网公司Yandex开发的列存储数据库。它最初

    2024年02月09日
    浏览(45)
  • Kudu、ClickHouse、Doris、Druid、Hbase

    什么是MPP架构? MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。 任务并行执行; 数据分布式存储(本地化); 分布式计算; 私有资源; 横向扩展; Shared Nothing架构。 属于MPP架构的数据库 Druid Doris ClickHouse G

    2024年02月07日
    浏览(36)
  • ClickHouse/Doris vs Elasticsearch谁更胜一筹?

    我之前在ClickHouse vs Doris 读写性能比较 一文中,初步做了一下ClickHouse和Doris的读写性能比较,但由于数据样本比较小,且未发挥出所有硬件资源的性能,因此进行了第二轮压测。 本轮压测与上一轮的区别在于: 新加入了Elasticsearch搜索引擎 ClickHouse和Doris均采用多并发写入,发

    2024年01月22日
    浏览(51)
  • 大数据测试-hive、doris、clickhouse、mysql、elasticsearch、kudu、postgresql、sqlserver

    大数据工作要接触很多的数据库和查询引擎 数据库 : 1、 hive :用于跑批,大批量,稳定,缺点:无update。用于数仓 2、 doris db :已更名starrocks。即时查询 可达千亿级别 文档:什么是 StarRocks @ StarRocks_intro @ StarRocks Docs 3、 clickhouse :亿级别 局限性:主表,单表支持能力强,

    2024年02月05日
    浏览(47)
  • Clickhouse & Elasticsearch 选型对比

    Clickhouse是俄罗斯搜索巨头Yandex开发的完全列式存储计算的分析型数据库。ClickHouse在这两年的OLAP领域中一直非常热门,国内互联网大厂都有大规模使用。Elasticsearch是一个近实时的分布式搜索分析引擎,它的底层存储完全构建在Lucene之上。简单来说是通过扩展Lucene的单机搜索能

    2024年04月15日
    浏览(31)
  • Elasticsearch 和 ClickHouse 的对比分析

    Elasticsearch 和 ClickHouse 都是当前互联网领域中比较热门的两种数据存储工具。都有自己的优势和适用场景深入了解它们的特点和使用条件才能更好地运用于实际项目中,对 Elasticsearch 和 ClickHouse 进行对比分析,包括数据存储和索引、查询和分析、扩展性和可靠性、安全性和管理

    2024年02月02日
    浏览(31)
  • doris查询性能优化

    (1)首先要开启profile  set enable_profile=true; (2)执行所要查询的sql (3)查询当前sql的profile show query profile \\\"/\\\";(找到对应的sql) (4)获取QueryId,查询总的执行计划 示例:show query profile \\\"/271dc937f9564af0-9ec7ce5755d88c66\\\"; 以下是每个节点的执行时间概览 结果示例      ┌──────────

    2024年03月28日
    浏览(44)
  • 数据仓库系列:StarRocks的简单试用及与clickhouse的对比

    StarRocks 与 ClickHouse 是两款基于 MPP 架构的列式数据库管理系统,都可以提供高性能的 OLAP 分析能力。 但是它们在功能、性能和使用场景上也有一些区别。 总结如下: StarRocks 与 ClickHouse 最大的区别就在于对于 join 的处理上 。 ClickHouse 虽然提供了 join 的语义,但使用上对大表

    2024年02月09日
    浏览(43)
  • ClickHouse性能优化

    目录 1. 了解ClickHouse的架构    1.1 ClickHouse的分布式架构    1.1.1 ClickHouse是读写分离架构吗    1.1.2 如何查询ClickHouse的分布式表    1.2 数据存储方式    1.2.1 如何配置数据压缩    1.2.2 如何选择合适的压缩算法    1.2.3 如何清理旧数据    1.2.4 关于`TTL`设置,自动删除过期数

    2024年02月10日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包