【技术预研】starRocks高性价比替换hbase-Toy模板网

这篇具有很好参考价值的文章主要介绍了【技术预研】starRocks高性价比替换hbase。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

hbase作为类列数据库，更准确说是列族数据库。本质上是一个文件查询系统，追求极限的写入和读取。
而starRocks作为olap数据库，在保持优秀的关联计算能力的前提下，还有不错的查询效率，当然和hbase本身比还有一定差距。
但对于一般场景还是可以接受的，毕竟要省掉很多的资源。与hdfs等组件解耦，降低运维压力。

starRock通过以下三个优化来提升性能：

排序键

相当于在存储的时候，选择某一列或者某几列作为排序键，这样在数据存储的时候就按照这个顺序存放。
在数据查询的时候，可以按照顺序去查询。

前缀索引

有了排序键，但如果数据量大，且查询的内容比较少的话，对内存的压力就很大。
其实可以考虑跳过很多不需要查询的内容。这就有了前缀索引（clickhouse中有类似的稀疏索引）。
就相当于排序键的索引，每隔一定条数记录（1024条），抽出第一条作为前缀索引，这样需要加载到内存的数据就是原来的1/1024。大大降低了内存压力。