大数据组件ClickHouse介绍（场景、优劣势、性能）-Toy模板网

这篇具有很好参考价值的文章主要介绍了大数据组件ClickHouse介绍（场景、优劣势、性能）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

clickhouse是一个高性能的列式存储分析数据库管理系统，由俄罗斯搜索引擎公司yandex开发。

clickhouse具有以下特点

clickhouse适用于以下场景：

海量数据处理：clickhouse可以轻松处理数十亿行的数据，并在秒级别内返回查询结果。尤其对于大批量数据的入库和存储，以及后续的统计分析，clickhouse可以提供很好的支撑。
复杂查询：clickhouse支持多种聚合函数和窗口函数，可以进行各种复杂的数据分析和查询操作。
实时数据分析：clickhouse支持实时数据导入和查询，可以在毫秒级别内完成大规模实时数据分析任务。它对于海量数据的查询速度，相比关系型数据库MySQL/PostgreSQL，提升了不止一个数量级。
总结一下，clickhouse适用于海量数据的写入、存储与查询分析，例如前端设备数据、日志数据、网页浏览数据等。

相比传统的关系型数据库管理系统，clickhouse具有以下优势：

查询速度快：clickhouse采用列式存储和数据压缩技术，可以大幅提升查询速度。
水平扩展方便：clickhouse采用共享无状态架构，可以轻松实现水平扩展。
数据安全性高：clickhouse支持数据分片和复制功能，可以确保数据的可用性和安全性。
存储成本低：相对于关系型数据库MySQL/PostgreSQL，文本数据库MongoDB，搜索引擎Elasticsearch，clickhouse是列式数据库压缩存储，且压缩比很高，能节省存储成本。

相比传统的关系型数据库管理系统，clickhouse也存在一些劣势：文章来源地址https://www.toymoban.com/news/detail-501376.html

对修改操作支持度不够：clickhouse适用于海量数据的写入与存储，但是不适合与需要经常修改变动的业务数据，数据修改可能会涉及大量part操作，也不会很实时的生效。
不支持事务：clickhouse不支持acid事务，对于需要事务支持的场景并不适合。
数据导入速度较慢：clickhouse在数据导入方面的表现并不优秀，如果需要大规模导入数据，则需要考虑额外的优化。clickhouse不建议频繁的写入，而是建议一大批数据一次写入。
复杂性：clickhouse是构建在高度优化和复杂数据结构之上的，这使得它需要更多的学习和经验才能正确地使用。对于初学者来说，它可能会有点困难。对于开发和生产使用，建议先从单节点clickhouse开始，单节点的clickhouse也足以支撑相当数量级的业务需求了。
查询限制：虽然clickhouse可以处理大型数据集，但它在某些查询方面存在限制。例如，它对join的支持不太友好，当然，对于大表join，无论哪个数据库都是要慎重处理的。
缺乏完整性约束：clickhouse没有内置的外键约束或其他完整性约束。因此，在数据输入时，必须谨慎确保数据的准确性和完整性。
社区规模：与其他流行的开源数据库相比，clickhouse的社区还相对较小。这意味着可能很难找到足够的技术支持或资源，以及扩展其功能等方面的帮助。

如果数据被放置在page cache中，则一个不太复杂的查询在单个服务器上大约能够以2-10GB／s（未压缩）的速度进行处理（对于简单的查询，速度可以达到30GB／s）。
如果数据没有在page cache中的话，那么速度将取决于你的磁盘系统和数据的压缩率。
例如，如果一个磁盘允许以400MB／s的速度读取数据，并且数据压缩率是3，则数据的处理速度为1.2GB/s。这意味着，如果你是在提取一个10字节的列，那么它的处理速度大约是1-2亿行每秒。
对于分布式处理，处理速度几乎是线性扩展的，但这受限于聚合或排序的结果不是那么大的情况下。