【Apache Pinot】简单聊聊前面没讲的 Deep Store 和 Cluster-Toy模板网

这篇具有很好参考价值的文章主要介绍了【Apache Pinot】简单聊聊前面没讲的 Deep Store 和 Cluster。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

前面3篇文章讲解了 Pinot 用的最多的几个组件，现在就聊最后剩下的两个，一个是 Cluster，另外一个就是 Deep Store。

Cluster

其实 Cluster 比较简单，就是一个概念的集合，他说有 Server，Broker 和 Controller 组成的。

【Apache Pinot】简单聊聊前面没讲的 Deep Store 和 Cluster
我们已经在第一章篇文章里面大概讲述了每个节点的作用和每个节点相互工作的。

Minion

根据我跟开发者的聊天下来，发现这个功能主要是做 Segment 的管理，解决 Segment 数量过多导致查询变慢的场景。具体得笔者把版本升上去之后在看看效果。因为自己可以开个定时任务去合并历史 Segment，所以这个功能在我这块暂时不是非常重要。是否有坑等笔者测试之后再来开坑。0.12.1 版本之前应该只能用在离线表上面，0.12.1以后包含 0.12.1 是增加了实时表的功能。

Deep Store

在 Pinot 中，Deep Storage 就是存储 Segment 的组件。无论是离线还是实时的 Segment 都会上传到 Deep Store 上。如果后期 Server 扩容，Server 重启或者 Table 重新迁移之后，Server 可以从 Deep Store 上面把 Segment download 下来到本地 Server 上。

REALTIME 上传 Segment

在实时表场景下，Server 会消费 kafka 的数据存储到本地磁盘，然后统一通过 Controller 传给 Deep Store。这样会导致在实时表多的情况下会出现集群毛刺问题。流程图如下
【Apache Pinot】简单聊聊前面没讲的 Deep Store 和 Cluster
毛刺图如下，整点的时候会出现耗时上涨。怀疑是跟这个配置有关系。