Java ES 滚动查询

这篇具有很好参考价值的文章主要介绍了Java ES 滚动查询。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

滚动查询(Scroll Query)是 Elasticsearch 提供的一种机制,用于处理大量数据的查询。它允许你在多个请求之间保持“游标”,以便在后续请求中获取更多的结果。

以下是滚动查询的基本工作原理:

1 初始查询:
客户端发送一个查询请求给 Elasticsearch,并指定一个滚动时间(scroll time)。

2 首次返回结果:
Elasticsearch会处理这个查询请求,并将结果返回给客户端。
除了返回查询结果之外,还会返回一个特殊的“滚动ID”(scroll ID)。

3 保持连接:
客户端将这个滚动ID保存下来,以便在后续请求中使用。

4 后续查询:
在滚动时间内,客户端可以使用保存的滚动ID来获取更多的结果,而不需要重新发送完整的查询请求。
客户端发送一个滚动请求,并提供之前收到的滚动ID。

5 返回后续结果:
Elasticsearch会使用之前的滚动ID来获取接下来的结果,并将其返回给客户端。
如果有更多的结果可用,它也会返回一个新的滚动ID,以便在下一次请求中使用。

6 重复步骤4和步骤5:
客户端可以在滚动时间内多次使用滚动ID来获取更多的结果,直到没有更多的结果可用为止。

7 滚动ID的失效:
一旦滚动时间过期(在初始查询时指定的时间),或者客户端主动关闭滚动查询,相应的滚动ID将失效,不再能用于获取结果。
滚动查询的优点在于,它允许你在多个请求之间保持连接状态,从而能够处理大量数据而不会因为单次请求的数据量过大而出现问题。

需要注意的是,滚动查询并不适用于实时查询,因为它会保持资源开销,直到滚动时间过期或者显式关闭滚动查询为止。因此,滚动查询通常用于离线批量处理或需要处理大量数据的情况。文章来源地址https://www.toymoban.com/news/detail-714090.html

@Test
public void searchScroll() {
	long gte = 0;
	long lt = 100000000;

	BoolQueryBuilder query = new BoolQueryBuilder();
	query.must(QueryBuilders.rangeQuery("createTime").gte(gte).lt(lt));

	NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
	builder.withPageable(PageRequest.of(0, 500)); // 每次只处理500条数据
	builder.withQuery(query);

	// 查询
	IndexCoordinates index = "student";
	SearchScrollHits<Student> hits = template.searchScrollStart(
			60000L,
			builder.build(),
			Student.class,
			index);

	String scrollId = hits.getScrollId();
	List<String> scrollIdList = new LinkedList<>();
	scrollIdList.add(scrollId);

	List<CheckItemCount> list = new LinkedList<>();
	while (hits.hasSearchHits()) {

		// 处理数据
		List<SearchHit<Student>> hitList = hits.getSearchHits();
		for (SearchHit<Student> hit : hitList) {
			// 处理数据
		}
		
		// 滚动查询下一页
		hits = template.searchScrollContinue(scrollId, 60000L, Student.class, index);
		scrollId = hits.getScrollId();
		scrollIdList.add(scrollId);
		
	}
	// 清空滚动查询
	template.searchScrollClear(scrollIdList);
}

到了这里,关于Java ES 滚动查询的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch第六讲 ES 三种分页查询from+size / Scroll /search_after

    我的Git地址:https://gitee.com/ITLULU 欢迎访问 ES的分页查询和关系数据库的分页查询的区别: ES分页查询有以下几种: 1:简单的 from size (有默认的最大Size,不可无限大小查询,因为数据过多查询性能会降低,且也要考虑内存问题,以及OS缓存数据的能力) 2: scroll基于查询窗口

    2024年02月01日
    浏览(51)
  • ElasticSearch进阶:多种查询操作,各种ES查询以及在Java中的实现

    目录 前言 1 词条查询 1.1 等值查询-term 1.2 多值查询-terms 1.3 范围查询-range 1.4 前缀查询-prefix 1.5 通配符查询-wildcard 2 复合查询 2.1 布尔查询 2.2 Filter查询 3 聚合查询 3.1 最值、平均值、求和 3.2 去重查询 3.3 分组聚合 3.3.1 单条件分组 3.3.2 多条件分组 3.4 过滤聚合 ElasticSearch 第一篇

    2024年02月02日
    浏览(50)
  • 【ElasticSearch】ES自动补全查询与Java接口实现

    自动补全就是当用户在搜索框输入字符时,我们应该提示出与该字符有关的搜索项。 要实现根据字母做补全,就必须对文档按照拼音分词。GitHub上有相关插件,地址:https://github.com/medcl/elasticsearch-analysis-pinyin,下载和ES对应的版本。 安装步骤: 解压 上传到虚拟机中,elasti

    2024年02月15日
    浏览(43)
  • ElasticSearch进阶:一文全览各种ES查询在Java中的实现

    ElasticSearch进阶:一文全览各种ES查询在Java中的实现 es基本语句详解 查询语句详解 ElasticSearch第一篇: ElasticSearch基础:从倒排索引说起,快速认知ES 完整项目已上传至:ElasticSearch Demo 项目,该项目是关于springboot的集成项目,ElasticSearch部分请关注【elasticSearch-demo】模块。觉得

    2024年02月02日
    浏览(52)
  • ElasticSearch如何使用以及java代码如何查询并排序ES中的数据(距离排序)

    import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.client.transport.TransportClient; import org.elasticsearch.common.geo.GeoDistance; import org.elasticsearch.common.settings.Settings; import org.elasticsearch.common.transport.TransportAddress; import org.elasticsearch.common.unit.DistanceUnit; import org.elasticsearch.common.unit.

    2024年04月12日
    浏览(47)
  • Java 实现对ES的Scroll读以及分片Scroll读--全量数据读取

    本文实现的是使用Java对ES索引全量数据的读取操作。ES版本是7.14。采用两种方式,一种是不分片读,一种是分片读。 对ES实现全量读取需要依赖到ES所提供的API,这里需要添加两个依赖 方式一不分片Scroll读取 方式二分片读取 分片就是将一个索引的全量数据分成几块,对每个

    2024年02月11日
    浏览(34)
  • Elasticsearch Search Scroll API(滚动查询)

    参考:Elasticsearch Search Scroll API(滚动查询) - 简书 Elasticsearch 中,传统的分页查询使用 from+size 的模式, from 就是页码,从 0 开始。默认情况下,当 (from+1)*size 大于 10000 时,也就是已查询的总数据量大于 10000 时,会出现异常。 如下,用循环模拟一个连续分页查询: 最终当

    2023年04月20日
    浏览(45)
  • ES度量聚合(ElasticSearch Metric Aggregations),Java开发自学教程

    .value( (new MultiValuesSourceFieldConfig.Builder()) .setFieldName(“num”) .setMissing(0) .build() ) .weight( (new MultiValuesSourceFieldConfig.Builder()) .setFieldName(“num”) .setMissing(1) .build() ) // .valueType(ValueType.LONG) ; avg.toString(); sourceBuilder.aggregation(avg); sourceBuilder.size(0); sourceBuilder.query( QueryBuilders.termQuery(“

    2024年04月14日
    浏览(65)
  • ES scroll查询的坑点

    scroll 查询是ES中为了解决一次获取不到全部数据的一种解决方案。 第一次查询 第二次查询(第二次查询,可以不加scroll的失效时间) 第2+n次访问(第三次及之后的查询必须要加scroll的失效时间) 首次访问 访问后,会得到部分或全部数据和scroll_id. 之后再访问 注意点 : 用

    2024年02月11日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包