Clickhouse & Elasticsearch 选型对比

这篇具有很好参考价值的文章主要介绍了Clickhouse & Elasticsearch 选型对比。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Clickhouse&Elasticsearch介绍

Clickhouse是俄罗斯搜索巨头Yandex开发的完全列式存储计算的分析型数据库。ClickHouse在这两年的OLAP领域中一直非常热门,国内互联网大厂都有大规模使用。Elasticsearch是一个近实时的分布式搜索分析引擎,它的底层存储完全构建在Lucene之上。简单来说是通过扩展Lucene的单机搜索能力,使其具有分布式的搜索和分析能力。
今天很多用户在实际的业务场景中,常常面对ClickHouse和Elasticsearch技术选型的难题。本文将通过功能对比和性能测试的手段对比两者的优劣之处并进行选型,同时会附上一份覆盖多场景的测试报作为参考。

Clickhouse vs Elasticsearch

类别

Elasticsearch

Clickhouse

导入方式

MQ导入

内置支持kafka, 插件插件plusar

内置支持 kafka, 插件支持plusar

JDBC导入

内置支持

内置支持

用户导入

Rest API

HTTP接口/JDBC

存储架构

数据分区

时间分区,字段分区

支持多个分区字段

数据分桶

支持主键Hash分桶

支持分片

多副本

支持多副本设置

支持副本表

字段类型

结构化
半结构化(Array、Map)

结构化
半结构化(Array、Map)

压缩

LZ4,Deflate

LZ4,ZSTD

存储引擎

行/列/倒排索引

行存/稀疏索引

存储压缩比 一般

计算能力

向量化计算

不支持

支持

并发能力

< ~100

< ~100

写入性能

3000/s

3.5w/s

谓词下推

一般

JOIN

不支持

支持BroadCast Join
支持预hash的Colocate JOIN

物化视图(预计算) 不支持 支持

自定义函数

不支持

支持

全文搜索

支持

不支持

扩展性

协议

JDBC/ODBC/RESTAPI协议

JDBC/ODBC/HTTP协议

SQL协议

DSL为主,SQL兼容性差

兼容标准SQL协议

动态列 支持 不支持

存储分离

不支持

不支持

数据备份

支持快照,定时备份

第三方工具开

扩缩容

需要Reblance数据文章来源地址https://www.toymoban.com/news/detail-852121.html

需要Reblance数据

ClickHouse与ES的对比优缺点

优点:

  • ClickHouse写入吞吐量大,单服务器日志写入量在50MB到200MB/s,每秒写入超过60w记录数,是ES的5倍以上。
     
  • clickhouse的计算框架,支持向量化引擎,以及自低向上的极致算法层面优化,在OLAP场景下可以最大限度的压榨CPU IO等性能,对比ES存在明显优势。
     
  • clickhouse支持雾化视图和语句算功能,对于固定的统计分析场景可以将耗时从十几秒下降到几十毫秒级别级别
     
  • ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高(行列存储索引的存在),相同数据占用的磁盘空间只有ES的1/3~1/30,节省了磁盘空间的同时,也能有效的减少磁盘IO;另一方面ClickHouse比ES占用更少的内存,更高效的利用CPU资源。 
     
  • 相比ES,ClickHouse稳定性更高,运维成本更低。ES中不同的Group负载不均衡,有的Group负载高,会导致写Rejected等问题,需要人工迁移索引;在ClickHouse中通过集群和Shard策略,采用轮询写的方法,可以让数据比较均衡的分布到所有节点。
     
  • ES中一个大查询可能导致OOM的问题;ClickHouse通过预设的查询限制,会查询失败,不影响整体的稳定性。 
  • ClickHouse采用SQL语法,比ES的DSL更加简单,新用户学习成本更低。

缺点:

  • 由于是列式数据库,且只支持稀疏索引(bloom fliter),不具备倒排索引功能,无法像ES一样提供同样的全文检索能力。
  • 无法动态添加字段,需要提前定义好表schema。

到了这里,关于Clickhouse & Elasticsearch 选型对比的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据仓库系列:StarRocks的简单试用及与clickhouse的对比

    StarRocks 与 ClickHouse 是两款基于 MPP 架构的列式数据库管理系统,都可以提供高性能的 OLAP 分析能力。 但是它们在功能、性能和使用场景上也有一些区别。 总结如下: StarRocks 与 ClickHouse 最大的区别就在于对于 join 的处理上 。 ClickHouse 虽然提供了 join 的语义,但使用上对大表

    2024年02月09日
    浏览(43)
  • 入门ClickHouse和Elasticsearch

    ❄️ 大多数同学都知道数据有mysql、mongodb、oracle、nosql等等,这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库 clickhouse 和 elasticsearch 。对大数据感兴趣的同学可以参考下面的文章👇: hadoop专题: hadoop系列文章. spark专题: spark系列文章. f

    2023年04月08日
    浏览(36)
  • 【干货】开源OLAP引擎(ClickHouse、Doris、Presto、ByConity)性能对比分析

    随着数据量和数据复杂性的不断增加,越来越多的企业开始使用OLAP(联机分析处理)引擎来处理大规模数据并提供即时分析结果。在选择OLAP引擎时,性能是一个非常重要的因素。 目录 / 基础查询场景下 / / 连接查询场景 / / 聚合查询场景 /

    2024年02月12日
    浏览(57)
  • clickhouse 代替 es 如何对文档做模糊查询?

    模糊查询在日志存储的场景中非常普遍。 ClickHouse 作为大数据分布式引擎,理所当然地会被作为日志存储的备选方案。事实上使用 ClickHouse 作为日志存储方案,业界目前也已经在多家企业落地,比如 Uber 、石墨文档、映客、快手、携程、唯品会等。 日志查询的一个最大的特点

    2024年01月21日
    浏览(58)
  • ClickHouse与Elasticsearch的整合

    ClickHouse 和 Elasticsearch 都是流行的开源数据库管理系统,它们各自具有不同的优势和特点。ClickHouse 是一个高性能的列式数据库,主要用于实时数据处理和分析,而 Elasticsearch 是一个基于 Lucene 的搜索引擎,主要用于文本搜索和分析。 在现实应用中,我们可能需要将这两个系统

    2024年03月15日
    浏览(46)
  • ClickHouse为何能超越Elasticsearch?

    Elasticsearch是一个强大的分布式全文检索和数据分析引擎,也是日志分析系统经常使用的一种实现方案,但近年来随着ClickHouse的发展,Elasticsearch在日志分析领域的地位逐渐被取代,许多公司已经将自己的日志分析解决方案从ES迁移到了ClickHouse,比如阿里、bilibili、快手等公司

    2024年02月05日
    浏览(32)
  • 不是 ES 用不起,而是 ClickHouse 更具“性价比”?

    云原生架构是一种基于云计算、容器化和微服务的架构模式。业内预测,到2025年,预计超过95%的工作负载将迁移到云端,云原生架构成为业务的必需品。 经过十三年的发展,某快递公司目前C端累计注册用户超2.5亿、P端(专业用户)累计注册快递员及网点经营者超130万、B端

    2024年01月25日
    浏览(72)
  • ClickHouse与Elasticsearch实时搜索案例

    随着数据的增长和实时性的要求,实时搜索技术变得越来越重要。ClickHouse和Elasticsearch都是流行的实时搜索技术,它们各自具有不同的优势和适用场景。本文将详细介绍ClickHouse与Elasticsearch的实时搜索案例,并分析它们的优缺点。 2.1 ClickHouse ClickHouse是一个高性能的列式数据库

    2024年02月19日
    浏览(38)
  • 「从ES到CK 02」Clickhouse的基础知识扫盲

            在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后,个人认为有必要将过程记录分享。限于篇幅及便于分类组织,我会以一个系列文章的形式记录: 01 《Elasticsearch vs Clickhouse》 02 《Clickhouse的基础知识扫盲》 03 《​Clickhouse多分片多副本集群部署​》 04

    2024年02月03日
    浏览(45)
  • 「从ES到CK 05」clickhouse高效数据处理工具vector

            在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后,个人认为有必要将过程记录分享。限于篇幅及便于分类组织,我会以一个系列文章的形式记录: 01 《Elasticsearch vs Clickhouse》 02 《Clickhouse的基础知识扫盲》 03 《​Clickhouse多分片多副本集群部署​》 04

    2024年02月03日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包