ES_深度分页概念与解决方案
一.深度分页问题
假如现在要查询990~1000的数据，查询逻辑要这么写：
GET /hotel/_search
{
"query": {
"match_all": {}
},
"from": 990, # 分页开始的位置，默认为0
"size": 10, # 期望获取的文档总数
"sort": [
{"price": "asc"}
]
}
这里是查询990开始的数据，也就是 第990~第1000条 数据。
单节点es的分页查询逻辑
elasticsearch内部分页时，必须先查询 0~1000条，然后截取其中的990 ~ 1000的这10条：
查询TOP1000，如果es是单点模式，这并无太大影响。
es集群的分页查询逻辑
但是elasticsearch将来一定是集群，例如我集群有5个节点，我要查询TOP1000的数据，并不是每个节点查询200条就可以了：因为节点A的TOP200，在另一个节点可能排到10000名以外了。
因此要想获取整个集群的TOP1000，必须先查询出每个节点的TOP1000，汇总结果后，重新排名，重新截取TOP1000。
那如果我要查询9900~10000的数据呢？是不是要先查询TOP10000呢？那每个节点都要查询10000条？汇总到内存中？
当查询分页深度较大时，汇总数据过多，对内存和CPU会产生非常大的压力，因此elasticsearch会禁止from+ size 超过10000的请求。
二.深度分页解决方案
1、限制请求
Es进行限制的10000+的数据.而淘宝则对深度分页处理则很直接,限制分页页数.超过100页后面的数据,基本认为是无效数据.则会丢弃这些数据.
2、scroll：
原理 : 将排序后的文档id形成快照，保存在内存。官方已经不推荐使用。
使用scroll滚动搜索,一次性查出一部分数据,降低服务器的压力. 第一次查询需要设置超时时间, 在第一次查询后生成 _scroll_id 下次查询会携带这个值. 把它作为起始只查询对应size个数据.
3、search after：
原理 分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式。
第一次查询
下一次查询
注意
要保证排序值是唯一不重复的，否则分页时可能会漏掉数据。
期望结果：
- 第一次查询：最后一条数据的排序值是 score=47，price=245。 score=47，price=245的数据只有一条
- 下一次查询：查询 score=47，price=245之后的数据，没有任何问题
但是如果：文章来源：https://www.toymoban.com/news/detail-409524.html
- score=45，price=245的数据有多条，假定为doc1、doc2
- 第一次查询第一页时，顺序是doc1、doc2，这一页刚好查询到了doc1
- 查询下一页时，顺序是doc2、doc1，从第2条开始，查询到了doc1
- 最终就漏掉了doc2
解决方案：文章来源地址https://www.toymoban.com/news/detail-409524.html
- 建议保证排序条件值不重复，就不会出现上面的问题了
- 例如：以score降序、price升序、
_id降序。_id是文档的唯一标识，是不重复的
到了这里，关于ES_深度分页概念与解决方案的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
