开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共950人左右 1 + 2 + 3)新人会进入3群
第四部分将深入介绍列索引存储,这是PolarDB-IMCI处理分析查询的关键部分。PolarDB-IMCI支持高度调优的面向事务处理的云存储的基于行的存储引擎[14, 28]。然而,基于行的数据格式因其无法有效地访问分析查询而闻名。受领先的工业级数据库(例如Oracle [30]、SQL Server [32])的启发,PolarDB-IMCI通过内存中的列索引实现了双重数据格式,以增强OLAP功能。
如图4所示,PolarDB-IMCI中的列索引作为现有行存储的补充存储。在PolarDB-IMCI中,表的列可以选择地参与列索引。PolarDB-IMCI将表的所有行分为多个行组,并进行追加式写入以提高写入性能。在行组中,数据的每一列都与一些统计元数据一起组织成数据包。为了提供快照隔离,每个行组都包含一个插入版本ID(VID)映射和一个删除版本ID映射来控制并发事务处理的可见性。由于行组是追加式的,因此删除操作需要显式提供给定主键的行ID以设置该行的删除版本。为此,PolarDB-IMCI实现了一个行ID定位器(即两层LSM树)来将主键映射到列索引中行的物理位置。
数据包布局。首先,将关系表分成多个行组,行组的大小可配置(即每个行组64K行),而剩余的行组则形成部分行组(例如,图4中的行组N)。为了实现快速数据摄取,行组是追加式的(§4.2)。也就是说,全尺寸的行组是不变的,而部分行组将以追加式方式完成。在行组内属于同一列的数据以压缩格式组织成数据包,以降低空间消耗。请注意,PolarDB-IMCI不会压缩部分数据包,因为它们会持续更新。
元数据。为了避免在查询执行过程中进行不必要的数据访问,PolarDB-IMCI为每个数据包维护一个包元数据。包元数据跟踪每个包的最小和最大值,以及采样直方图,这有益于列扫描。例如,当查询语句指定WHERE子句谓词时,可以使用所引用列的包元数据来检查是否可以跳过对该包的扫描。
为了更好地理解在数据包上进行DML操作的流程,现在我们描述如何在列索引数据结构上进行DML操作。
• 插入:将行插入列索引包括以下四个步骤。首先,列索引从其部分Packs中分配一个空的RID。其次,定位器通过主键更新插入的行的新RID(即在LSM树中添加新记录)。然后,列索引将行数据写入空槽中(例如,图4中行组N内的数据包)。最后,插入VID记录已插入数据的事务提交序列号(即时间戳)。由于插入VID映射维护每个插入数据的插入版本,因此也遵循只追加的写入模式。
• 删除:删除操作通过主键(PK)通过RID定位器检索行的RID,然后使用其事务提交序列号设置相应的删除VID。之后,从定位器中删除PK和RID之间的映射以确保数据一致性。
• 压缩:当部分包达到最大容量并且需要减少空间消耗时,其被转换为数据包,然后压缩到磁盘中。压缩过程采用写时复制模式,以避免访问争用。也就是说,在不更改部分包的情况下生成一个新的数据包,PolarDB-IMCI在压缩后更新元数据,以将部分包替换为新的数据包(即原子地更新指向新数据包的指针)。对于各种数据类型,列索引采用不同的压缩算法。数字列采用参考帧、增量编码和位压缩压缩的组合,而字符串列使用字典压缩。此外,由于数据包是不可变的,当活动事务大于所有VID时,该数据包的插入VID映射是无用的,即没有活动事务引用该插入VID映射。在这种情况下,PolarDB-IMCI删除行组内的插入VID映射,以减少内存占用。
• 压缩:当部分包达到最大容量并且需要减少空间消耗时,其被转换为数据包,然后压缩到磁盘中。压缩过程采用写时复制模式,以避免访问争用。也就是说,在不更改部分包的情况下生成一个新的数据包,PolarDB-IMCI在压缩后更新元数据,以将部分包替换为新的数据包(即原子地更新指向新数据包的指针)。对于各种数据类型,列索引采用不同的压缩算法。数字列采用参考帧、增量编码和位压缩压缩的组合,而字符串列使用字典压缩。此外,由于数据包是不可变的,当活动事务大于所有VID时,该数据包的插入VID映射是无用的,即没有活动事务引用该插入VID映射。在这种情况下,PolarDB-IMCI删除行组内的插入VID映射,以减少内存占用。
• 紧缩:删除操作可以在数据包中设置删除VID,为该数据包打洞。随着无效行数的增加,扫描性能和空间效率会下降。PolarDB-IMCI定期检测和重新排列底部的数据包,以保持列索引的无效行的低水位。例如,稀疏数据包,有效行少于一半,被选为下溢。然后,后台线程发出紧缩事务,每个迁移的有效行进行大量的更新操作,将选定数据包的所有有效行重新附加到部分包中。请注意,列索引的更新操作是原地的,因此在紧缩期间或之后,旧行仍然可以通过前台操作进行访问,从而实现非阻塞更新。在没有活动事务访问它们时,紧缩后的数据包将被永久删除。文章来源:https://www.toymoban.com/news/detail-549868.html
文章来源地址https://www.toymoban.com/news/detail-549868.html
到了这里,关于POLARDB IMCI 白皮书 云原生HTAP 数据库系统 一 列式数据是如何存储与处理的的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!