其他扩展MergeTree系列
MergeTree 系列表引擎 --种类
MergeTree 系 列 表 引 擎 包 含 ：
- MergeTree
- ReplacingMergeTree
- SummingMergeTree（汇总求和功能）
- AggregatingMergeTree（聚合功能）
- CollapsingMergeTree（折叠删除功能）
- VersionedCollapsingMergeTree（版本折叠功能）引擎
在这些的基础上还可以叠加 Replicated 和 Distributed。
1. ReplacingMergeTree
1.1 概念
- 以 上 MergeTree 不 能 对 相 同 主 键 的 数 据 进 行 去 重 ， ClickHouse 提 供 了
ReplacingMergeTree 引擎，可以针对同分区内相同主键的数据进行去重，它能够在合并分区时删除重复的数据。 - 值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以并不能完全保障数据不重复。
- ReplacingMergeTree 适用于在后台清除重复的数据以节省空间。
1.2 建表语句
ReplaceingMergeTree 建表语句：
使用 ReplacingMergeTree 是需要注意以下几点：
-
如何判断数据重复
ReplacingMergeTree 在去除重复数据时，是以 ORDERBY 排序键为基准的，而不是PRIMARY KEY。 -
何时删除重复数据
在执行分区合并时，会触发删除重复数据。optimize 的合并操作是在后台执行的，无法预测具体执行时间点，除非是手动执行。 -
不同分区的重复数据不会被去重
ReplacingMergeTree 是以分区为单位删除重复数据的。只有在相同的数据分区内重复的数据才可以被删除，而不同数据分区之间的重复数据依然不能被剔除。 -
数据去重的策略是什么
如果没有设置[ver]版本号，则保留同一组重复数据中的最新插入的数据；
如果设置了[ver]版本号，则保留同一组重复数据中 ver 字段取值最大的那一行。 -
optimize 命令使用
一般在数据量比较大的情况，尽量不要使用该命令。因为在海量数据场景下，执行optimize 要消耗大量时间。
2.SummingMergeTree
2.1 概念
该引擎继承了 MergeTree 引擎，当合并 SummingMergeTree 表的数据片段时ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值，即如果存在重复的数据，会对对这些重复的数据进行合并成一条数据，类似于 group by 的效果，可以显著减少存储空间并加快数据查询速度。
- 如果用户只需要查询数据的汇总结果，不关心明细数据，并且数据的汇总条件是预先明确的，即 GROUP BY的分组字段是确定的，可以使用该表引擎。
2.2 SummingMergeTree 建表语句：
使用 SummingMergeTree 注意以下几点：
-
SummingMergeTree 是根据什么对两条数据进行合并的
用 ORBER BY 排序键作为聚合数据的条件 Key。即如果排序key 是相同的，则会合并成一条数据，并对指定的合并字段进行聚合。 -
仅对分区内的相同排序 key 的数据行进行合并
以数据分区为单位来聚合数据。当分区合并时，同一数据分区内聚合 Key 相同的数据会被合并汇总，而不同分区之间的数据则不会被汇总。 -
如果没有指定聚合字段，会怎么聚合
如果没有指定聚合字段，则会按照非主键的数值类型字段进行聚合。 -
对于非汇总字段的数据，该保留哪一条
如果两行数据除了排序字段相同，其他的非聚合字段不相同，那么在聚合发生时，会保留最初的那条数据，新插入的数据对应的那个字段值会被舍弃。
3 AggregatingMergeTree
3.1 概念
- 该表引擎继承自 MergeTree，可以使用 AggregatingMergeTree表来做增量数据统计聚合。如果要按一组规则来合并减少行数，则使AggregatingMergeTree 是合适的。AggregatingMergeTree 是通过预先定义的聚合函数计算数据并通过二进制的格式存入表内。
- 与 SummingMergeTree 的区别在于：SummingMergeTree 对非主键列进行 sum 聚 合，而 AggregatingMergeTree 则可以指定各种聚合函数。对某些字段需要进行聚合时， 需要在创建表字段时指定成 AggregateFunction 类型
3.2 AggregatingMergeTree 建表语句
3.3 搭配使用
- 以上方式使用 AggregatingMergeTree 表引擎比较不方便，更多情况下，我们将AggregatingMergeTree 作为物化视图的表引擎与 MergeeTree 搭配使用。
示例：
4.CollapsingMergeTree
文章来源：https://www.toymoban.com/news/detail-828420.html
4.1 概念
- CollapsingMergeTree 就是一种通过以增代删的思路，支持行级数据修改和删除的 表引擎。它通过定义一个 sign 标记位字段，记录数据行的状态。如果 sign 标记为 1，则 表示这是一行有效的数据；如果 sign 标记为-1，则表示这行数据需要被删除。当 CollapsingMergeTree 分区合并时，同一数据分区内，sign 标记为 1 和-1的一组数据 会被抵消删除。
- 每次需要新增数据时，写入一行 sign 标记为 1 的数据；需要删除数据时，则写入一行sign 标记为-1 的数据。此外，只有相同分区内的数据才有可能被折叠。
4.2 建表语句
5.VersionedCollapsingMergeTree
5.1 概念
- 上面提到 CollapsingMergeTree 表引擎对于数据写入乱序的情况下，不能够实现数据 折 叠 的 效 果 。 VersionedCollapsingMergeTree 表 引 擎 的 作 用 与CollapsingMergeTree 完 全 相 同 ， 它 们 的 不 同 之 处 在 于 ，VersionedCollapsingMergeTree 对数据的写入顺序没有要求，在同一个分区内，任意顺序的数据都能够完成折叠操作。
- VersionedCollapsingMergeTree 使用 version 列来实现乱序情况下的数据折叠，该引擎除了需要指定一个 sign 标识之外，还需要指定一个 UInt*类型的 version 版本号。
5.2 建表语句
示例：
文章来源地址https://www.toymoban.com/news/detail-828420.html
到了这里，关于ClickHouse--06--其他扩展MergeTree系列表引擎的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
