Elasticsearch嵌套查询must和mustNot

这篇具有很好参考价值的文章主要介绍了Elasticsearch嵌套查询must和mustNot。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

场景:在bug关联固件的时候将bug的数据放到固件的数据下,可以根据固件数据下是否包含bug数据查询出已关联和未关联的数据。

ES文档结构

elasticsearch must,elasticsearch,java

目录

1.must查询此bug关联的固件

java代码

2.mustNot查询此bug未关联的固件

java代码

3.劫后余生       

4.闲来无事must_not跟must下的多条件关系不一样

4.1 es查询

4.2 java代码



1.must查询此bug关联的固件

{
    "query":{
        "nested":{
            "path":"s25_kernel_check",
            "query":{
                "bool":{
                    "must":[
                        {
                            "match":{
                                "s25_kernel_check.cve_id":"value"
                            }
                        },
                        {
                            "match":{
                                "s25_kernel_check.exploit-db":"value"
                            }
                        }
                    ]
                }
            }
        }
    }
}

同时满足must下的条件才可以被返回

java代码

BoolQueryBuilder must = QueryBuilders.boolQuery();
if (cvesById.getCveId()!=null){
	must.must(QueryBuilders.matchQuery("s25_kernel_check.cve_id", cvesById.getCveId()));
}
if (cvesById.getExploitDb()!=null){
	must.must(QueryBuilders.matchQuery("s25_kernel_check.exploit-db", cvesById.getExploitDb()));
}

HashMap<String, Object> map2 = new HashMap<>();
NestedQueryBuilder s25_kernel_check = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
SearchQuery queryBuilder = new NativeSearchQueryBuilder()
		.withQuery(s25_kernel_check)
		.withFields("firmware_id")
		.build();
AggregatedPage<Cvesdd> page = template.queryForPage(queryBuilder, Cvesdd.class, new SearchResultMapper() {
	@Override
	public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
		map2.put("total", searchResponse.getHits().totalHits);
		List<T> list = new ArrayList<>();
		return new AggregatedPageImpl<T>(list);
	}
});
Integer total= new Integer(String.valueOf((Long) map2.get("total")));
if (total == 0){
	total = 10;
}
NestedQueryBuilder new_s25_kernel_check = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
SearchQuery new_queryBuilder = new NativeSearchQueryBuilder()
		.withQuery(new_s25_kernel_check)
		.withFields("firmware_id")
		.withPageable(PageRequest.of(0,total))
		.build();
List<Cvesdd> list = template.queryForList(new_queryBuilder, Cvesdd.class);

2.mustNot查询此bug未关联的固件

{
  "size": 200, 
  "query": {
    "bool": {
      "must_not": [
        {
          "nested": {
            "path": "s25_kernel_check",
            "query": {
              "bool": {
                "must": [
                  {
                    "match": {
                      "s25_kernel_check.cve_id": "value"
                    }
                  },
                  {
                    "match": {
                      "s25_kernel_check.exploit-db": "value"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}

排除同时满足must下条件的数据并返回

java代码

HashMap<String, Object> totalMap = new HashMap<>();
BoolQueryBuilder must = QueryBuilders.boolQuery();
if (cvesById.getCveId()!=null){
	must.must(QueryBuilders.matchQuery("s25_kernel_check.cve_id", cvesById.getCveId()));
}
if (cvesById.getExploitDb()!=null){
	must.must(QueryBuilders.matchQuery("s25_kernel_check.exploit-db", cvesById.getExploitDb()));
}
NestedQueryBuilder nestedQuery = QueryBuilders.nestedQuery("s25_kernel_check", must,ScoreMode.Max);
BoolQueryBuilder newBool = QueryBuilders.boolQuery();
newBool.mustNot(nestedQuery);
SearchQuery queryBuilder = new NativeSearchQueryBuilder()
		.withQuery(newBool)
		.withFields("firmware_id")
		.build();
AggregatedPage<Cvesdd> page = template.queryForPage(queryBuilder, Cvesdd.class, new SearchResultMapper() {
	@Override
	public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
		totalMap.put("total", searchResponse.getHits().totalHits);
		List<T> list = new ArrayList<>();
		return new AggregatedPageImpl<T>(list);
	}
});
Integer total= new Integer(String.valueOf((Long) totalMap.get("total")));
SearchQuery new_queryBuilder = new NativeSearchQueryBuilder()
		.withQuery(newBool)
		.withFields("firmware_id")
		.withPageable(PageRequest.of(0,total))
		.build();
List<Cvesdd> list = template.queryForList(new_queryBuilder, Cvesdd.class);

查询语句跟代码的对应关系

elasticsearch must,elasticsearch,java


3.劫后余生       

        OK,上面是满足了我想要的效果,但是发现在关联后,在es中再增加一条不同任务但是固件已经被某条bug关联过的数据,就会发现某条bug的未关联固件和已关联固件都会出现这个固件,原因是es中其实是存放的任务跟固件的关联关系,又因为业务关系,会存在多条相同固件但是不同任务的数据,关联之后创建的新任务已有固件数据,其中并未包含某条bug的数据,所以才会导致这样,那么ok,在查询未关联的逻辑之前,先查询一下已经关联的数据,不管它在哪个任务,只要所有的固件数据,有一条满足包含此条bug数据,那么我们就认为此条固件已经关联了这个bug了

4.闲来无事must_not跟must下的多条件关系不一样

        还尝试了排除嵌套查询满足或者id存在集合中的数据,gpt说这俩是and的关系,但是怎么测都是or的关系,现在es有三条id等于137的数据,其中有两条是满足嵌套查询的条件,如果是and那么应该是给我返回只是id等于137不满足嵌套查询的数据,但是并没有。。

        但是如果将must_not改成must下面的这个两个就成了and的关系,就会返回同时满足这两个条件的数据

        就很奇怪!离谱它妈给离谱开门,离谱到家了~

        那么我们来看看gpt对疑问的回答

elasticsearch must,elasticsearch,java

4.1 es查询

{
  "size": 200, 
  "query": {
    "bool": {
      "must_not": [
        {
          "terms": {
            "firmware_id": [
              137
            ]
          }
        },
        {
          "nested": {
            "path": "s25_kernel_check",
            "query": {
              "bool": {
                "must": [
                  {
                    "match": {
                      "s25_kernel_check.cve_id": "CVE-2010-3848,CVE-2010-3850,CVE-2010-4073"
                    }
                  },
                  {
                    "match": {
                      "s25_kernel_check.exploit-db": "17787"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}

4.2 java代码

elasticsearch must,elasticsearch,java


 最上面所提到的关联操作文章来源地址https://www.toymoban.com/news/detail-731561.html

//查询es中要关联的固件数据
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
boolQuery.must(QueryBuilders.matchQuery("firmware_id",ids[i]));
SearchQuery searchQuery = new NativeSearchQueryBuilder()
		.withQuery(boolQuery)
		//指定索引
		.withIndices("information_result")
		//指定type
		.withTypes("fulldata")
		.build();
List<?> results = template.query(searchQuery, response -> {
	List<Object> list = new ArrayList<>();
	for (SearchHit hit : response.getHits()) {
		Map<String, Object> sourceAsMap = hit.getSourceAsMap();
		sourceAsMap.put("id",hit.getId());
		list.add(sourceAsMap);
	}
	return list;
});

//构建批量插入的集合
List<IndexQuery> queries = new ArrayList<>();
for (int i1 = 0; i1 < results.size(); i1++) {
	Map oldData = (HashMap) results.get(i1);
	ArrayList s25_kernel_check1 =new ArrayList();
	boolean key1 = oldData.containsKey("s25_kernel_check");
	if (key1){
		s25_kernel_check1 = (ArrayList) oldData.get("s25_kernel_check");
	}
	//添加的bug信息
	HashMap<String, Object> stringObjectHashMap = new HashMap<>();
	//.....添加本条新bug数据
	s25_kernel_check1.add(stringObjectHashMap);
	oldData.put("s25_kernel_check",s25_kernel_check1);
	//构建插入数据
	IndexQuery indexQuery = new IndexQuery();
	//指定id,覆盖原有数据
	indexQuery.setId(oldData.get("id").toString());
	oldData.remove("id");
	JSONObject newData=new JSONObject(oldData);
	//插入数据
	indexQuery.setSource(newData.toString());
	//索引
	indexQuery.setIndexName("information_result");
	//类型
	indexQuery.setType("fulldata");
	//3.添加到queries
	queries.add(indexQuery);
}
//4.添加数据
template.bulkIndex(queries);
queries.clear();

到了这里,关于Elasticsearch嵌套查询must和mustNot的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch中关于Nasted嵌套查询的介绍:生动案例,通俗易懂,彻底吸收

    题注:随着对ES接触的越来越深入,发现此前了解的ES知识点有点单薄,特此寻来ES知识点汇总成的一个思维导图,全面了解自己掌握了哪些,未掌握哪些。此外,作者斌并没有足够的精力学习ES全部的知识点,只能见缝插针,在工作中遇到陌生的点再去深入了解。 本文则是针

    2024年02月03日
    浏览(39)
  • Elasticsearch8.8.0 SpringBoot实战操作各种案例(索引操作、聚合、复杂查询、嵌套等)

    Elasticsearch8.8.0 全网最新版教程 从入门到精通 通俗易懂 引入依赖 添加配置文件 application.yaml 导入ca证书到项目中 从任意一个es容器中,拷贝证书到resources目录下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EXytUrDp-1691330960034)(media/16912196423122/16

    2024年02月13日
    浏览(56)
  • 【ES笔记02】ElasticSearch数据库之查询操作(match、must、must_not、should、_source、filter、range、exists、ids、term、terms)

    这篇文章,主要介绍ElasticSearch数据库之查询操作(match、must、must_not、should、_source、filter、range、exists、ids、term、terms)。 目录 一、布尔查询 1.1、主键查询 1.2、两种查询方式 (1)路径参数查询 (2)请求体参数查询 1.3、match查询 (1)match (2)match_all 1.4、过滤字段 1.5、布

    2023年04月09日
    浏览(52)
  • Elasticsearch同时使用should和must

    must和should组合查询,should失效。 使用must嵌套查询,将should组成的bool查询包含在其中一个must查询中。

    2024年02月13日
    浏览(35)
  • elasticsearch 父子文档使用must not 正确姿势

    1、基于elasticsearch 父子文档进行子条件查询父文档 2、需要查询出子文档不存在的父文档 1、父文档clue_list 关联很多的子文档,我们用roam子文档做测试! 2、roam子文档的结构 需求是查询出roam子文档不存在的数据,由于我们es的所有数据companyId == 1 我们可以用must not来排除 co

    2024年02月05日
    浏览(43)
  • Elasticsearch(es)中must以及term的基本使用

    在 Elasticsearch(ES)中,should 和 must 是布尔查询(Boolean Query)中常用的两个子句。 should 子句:should 表示一个或多个条件之一满足即可匹配文档。它类似于逻辑上的 OR 操作,用于构建可选项或者提升匹配文档的相关性评分。当至少一个 should 子句匹配时,文档将被认为是匹配

    2024年01月22日
    浏览(37)
  • 6.ELK之Elasticsearch嵌套(Nested)类型

    在Elasticsearch实际应用中经常会遇到嵌套文档的情况,而且会有“对象数组彼此独立地进行索引和查询的诉求”。在ES中这种嵌套文档称为父子文档,父子文档“彼此独立地进行查询”至少有以下两种方式: 1)父子文档。在ES的5.x版本中通过parent-child父子type实现,即一个索引

    2024年02月03日
    浏览(58)
  • Elasticsearch索引之嵌套类型:深度剖析与实战应用

    码到三十五 : 个人主页 心中有诗画,指尖舞代码,目光览世界,步履越千山,人间尽值得 ! Elasticsearch是一个基于Lucene的搜索服务器,它提供了一个分布式、多租户能力的全文搜索引擎,并带有一个基于HTTP的Web界面和基于JSON的文档。在Elasticsearch中,嵌套类型索引是一个非常

    2024年04月09日
    浏览(45)
  • ElasticSearch第五讲 ES nested嵌套文档与父子文档处理

    在ES中,处理实体之间的关系并不像关系型存储那样明显。在关系数据库中的黄金准则 - 数据规范化,在ES中并不适用。在处理关联关系,嵌套对象和父子关联关系中,我们会讨论几种可行方案的优点和缺点。 紧接着在为可扩展性而设计中,我们会讨论ES提供的一些用来快速灵

    2024年02月02日
    浏览(43)
  • 【ElasticSearch】索引数据mapping嵌套深度过大导致Stackoverflow问题排查

    集群所有数据节点频繁因为StackOverflowError的错误挂掉,启动后还会挂掉,StackOverflowError异常栈如下 通过堆栈可以看出是写入线程池[write]发生的Stackoverflow,并且可能是在解析mapping的过程发生的,通过ObjectMapper类推断是Object类型数据写入导致的。因此通过拉取集群内所有索引的

    2024年02月03日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包