1. Toy模板网首页
  2. > Toy博客

重学Elasticsearch第5章 : 过滤查询、聚合查询

7月前 作者：white camel 分类：Toy博客 阅读(28) 违法举报

这篇具有很好参考价值的文章主要介绍了重学Elasticsearch第5章 : 过滤查询、聚合查询。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Filter Query(过滤查询)

过滤查询

其实准确来说，ES中的查询操作分为2种: 查询(query)和过滤(filter)。

  • 查询即是之前提到的query查询，它(查询)默认会计算每个返回文档的得分，然后根据得分排序。
  • 过滤(filter)只会筛选出符合的文档，并不计算得分，且它可以缓存文档 。所以，单从性能考虑，过滤比查询更快。

换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时， 应先使用过滤操作过滤数据， 然后使用查询匹配数据。

重学Elasticsearch第5章 : 过滤查询、聚合查询

过滤语法

// 从所有文档中过滤age>=10的文档
GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {"match_all": {}}
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 10
          }
        }
      }
    }
  }
}

提示: 在执行filter和query时,先执行filter在执行query

提示: Elasticsearch会自动缓存经常使用的过滤器，以加快性能。

常见的过滤器类型

term 、terms Filter

// 先过滤出content字段关键词为spring的文档,再query出name为黑的文档
GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "name": {
              "value": "黑"
            }
          }
        }
      ],
      "filter": {
        "term": {
          "content":"spring"
        }
      }
    }
  }
}

// 找到content中过滤不包含 科技,声音的文档, 然后在进行term关键词查询name为中国的文档
GET /dangdang/_search  #使用terms过滤
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "name": {
            "value": "中国"
          }
        }}
      ],
      "filter": {
        "terms": {
          "content":[
              "科技",
              "声音"
            ]
        }
      }
    }
  }
}

ranage filter

GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "name": {
            "value": "中国"
          }
        }}
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 7,
            "lte": 20
          }
        }
      }
    }
  }
}

exists filter

过滤出存在指定字段的文档

// 首先过滤出存在name字段的文档,并且进行term关键词查询,name字段中包含中国的文档
GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "name": {
            "value": "中国"
          }
        }}
      ],
      "filter": {
        "exists": {
          "field":"name"
        }
      }
    }
  }
}

ids filter

过滤含有指定字段的索引记录

GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "name": {
            "value": "中国"
          }
        }}
      ],
      "filter": {
        "ids": {
          "values": ["1","2","3"]
        }
      }
    }
  }
}

聚合查询

简介

聚合：英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能。聚合有助于根据搜索查询提供聚合数据。

聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。它基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。

注意事项：text类型是不支持聚合的。

测试数据

// 创建索引 index 和映射 mapping
PUT /fruit
{
  "mappings": {
    "properties": {
      "title":{
        "type": "keyword"
      },
      "price":{
        "type":"double"
      },
      "description":{
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}
// 放入测试数据
PUT /fruit/_bulk
{"index":{}}
  {"title" : "面包","price" : 19.9,"description" : "小面包非常好吃"}
{"index":{}}
  {"title" : "旺仔牛奶","price" : 29.9,"description" : "非常好喝"}
{"index":{}}
  {"title" : "日本豆","price" : 19.9,"description" : "日本豆非常好吃"}
{"index":{}}
  {"title" : "小馒头","price" : 19.9,"description" : "小馒头非常好吃"}
{"index":{}}
  {"title" : "大辣片","price" : 39.9,"description" : "大辣片非常好吃"}
{"index":{}}
  {"title" : "透心凉","price" : 9.9,"description" : "透心凉非常好喝"}
{"index":{}}
  {"title" : "小浣熊","price" : 19.9,"description" : "童年的味道"}
{"index":{}}
  {"title" : "海苔","price" : 19.9,"description" : "海的味道"}

使用

根据某个字段分组

// 根据检索条件查询出来的文档, 进行分组;根据price进行分组,分组叫price_group
GET /fruit/_search
{
  "query": {
    "term": {
      "description": {
        "value": "吃"
      }
    }
  }, 
  "aggs": {
    "price_group": {
      "terms": {
        "field": "price"
      }
    }
  }
}

// 结果
{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 0.6489038,
    "hits" : [
      {
        "_index" : "fruit",
        "_type" : "_doc",
        "_id" : "xbUHXYIBkJ4IdFBIeDXc",
        "_score" : 0.6489038,
        "_source" : {
          "title" : "面包",
          "price" : 19.9,
          "description" : "小面包非常好吃"
        }
      },
      {
        "_index" : "fruit",
        "_type" : "_doc",
        "_id" : "x7UHXYIBkJ4IdFBIeDXc",
        "_score" : 0.6489038,
        "_source" : {
          "title" : "日本豆",
          "price" : 19.9,
          "description" : "日本豆非常好吃"
        }
      },
      {
        "_index" : "fruit",
        "_type" : "_doc",
        "_id" : "yLUHXYIBkJ4IdFBIeDXc",
        "_score" : 0.6489038,
        "_source" : {
          "title" : "小馒头",
          "price" : 19.9,
          "description" : "小馒头非常好吃"
        }
      },
      {
        "_index" : "fruit",
        "_type" : "_doc",
        "_id" : "ybUHXYIBkJ4IdFBIeDXc",
        "_score" : 0.6489038,
        "_source" : {
          "title" : "大辣片",
          "price" : 39.9,
          "description" : "大辣片非常好吃"
        }
      }
    ]
  },
  "aggregations" : {
    "price_group" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 19.9,
          "doc_count" : 3
        },
        {
          "key" : 39.9,
          "doc_count" : 1
        }
      ]
    }
  }
}

求最大值

# 求最大值 
GET /fruit/_search
{
  "aggs": {
    "price_max": {
      "max": {
        "field": "price"
      }
    }
  }
}

重学Elasticsearch第5章 : 过滤查询、聚合查询

求最小值

# 求最小值
GET /fruit/_search
{
  "aggs": {
    "price_min": {
      "min": {
        "field": "price"
      }
    }
  }
}

重学Elasticsearch第5章 : 过滤查询、聚合查询

求平均值

# 求平均值
GET /fruit/_search
{
  "aggs": {
    "price_agv": {
      "avg": {
        "field": "price"
      }
    }
  }
}

重学Elasticsearch第5章 : 过滤查询、聚合查询

求和

# 求和
GET /fruit/_search
{
  "aggs": {
    "price_sum": {
      "sum": {
        "field": "price"
      }
    }
  }
}

重学Elasticsearch第5章 : 过滤查询、聚合查询文章来源地址https://www.toymoban.com/news/detail-491292.html

聚合查询整合Java

// 求不同价格的数量
@Test
public void testAggsPrice() throws IOException {
  SearchRequest searchRequest = new SearchRequest("fruit");
  SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
  sourceBuilder.aggregation(AggregationBuilders.terms("group_price").field("price"));
  searchRequest.source(sourceBuilder);
  SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  Aggregations aggregations = searchResponse.getAggregations();
  ParsedDoubleTerms terms = aggregations.get("group_price");
  List<? extends Terms.Bucket> buckets = terms.getBuckets();
  for (Terms.Bucket bucket : buckets) {
    System.out.println(bucket.getKey() + ", "+ bucket.getDocCount());
  }
}

// 求不同名称的数量
@Test
public void testAggsTitle() throws IOException {
  SearchRequest searchRequest = new SearchRequest("fruit");
  SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
  sourceBuilder.aggregation(AggregationBuilders.terms("group_title").field("title"));
  searchRequest.source(sourceBuilder);
  SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  Aggregations aggregations = searchResponse.getAggregations();
  ParsedStringTerms terms = aggregations.get("group_title");
  List<? extends Terms.Bucket> buckets = terms.getBuckets();
  for (Terms.Bucket bucket : buckets) {
  	System.out.println(bucket.getKey() + ", "+ bucket.getDocCount());
  }
}

// 求和
@Test
public void testAggsSum() throws IOException {
  SearchRequest searchRequest = new SearchRequest("fruit");
  SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
  sourceBuilder.aggregation(AggregationBuilders.sum("sum_price").field("price"));
  searchRequest.source(sourceBuilder);
  SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  ParsedSum parsedSum = searchResponse.getAggregations().get("sum_price");
  System.out.println(parsedSum.getValue());
}

到了这里，关于重学Elasticsearch第5章 : 过滤查询、聚合查询的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch Boolean Query查询介绍

    前言 ES 和 Solr 的底层都是基于Apache Lucene 实现，bool 查询的底层实现是Lucene 的 BooleanQuery，其可以组合多个子句查询，类似 SQL 语句里面的 OR 查询。 查询介绍 在 ES 里面 Boolean 查询封装了 4 种 API 接口能力，可以单独使用，也可以组合使用，总结如下： 函数 描述 must query 关键

    2024年02月13日
    浏览(36)
  • ElasticSearch级查询Query DSL上

    ElasticSearch级查询Query DSL上

    目录 ES高级查询Query DSL match_all 返回源数据_source 返回指定条数size 分页查询fromsize 指定字段排序sort 术语级别查询 Term query术语查询 Terms Query多术语查询 exists query ids query range query范围查询 prefix query前缀查询 wildcard query通配符查询 fuzzy query模糊查询        ES中提供了一种强大

    2024年02月20日
    浏览(44)

  • ElasticSearch Index查询（Query DSL）

    先贴一个Query DSL的官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html 我平时喜欢查看官方文档，了解数据查询和存储方面的性能优化点，下面是积累的脚本分享。 查询语句格式 查询类型：match_all，match，term，range，fuzzy，bool 等等 查询条件：查询条件会根

    2024年02月07日
    浏览(37)
  • Elasticsearch复合查询之Boosting Query

    Elasticsearch复合查询之Boosting Query

    前言 ES 里面有 5 种复合查询，分别是： Boolean Query Boosting Query Constant Score Query Disjunction Max Query Function Score Query Boolean Query在之前已经介绍过了，今天来看一下 Boosting Query 用法，其实也非常简单，总结起来就一句话，对不期待的查询进行相关性降分。 Boost 加权机制底层

    2024年02月12日
    浏览(31)
  • Elasticsearch 基本使用（五）查询条件匹配方式(query & query_string)

    Elasticsearch 基本使用（五）查询条件匹配方式(query & query_string)

    ES中常用的查询类型往大了分可以分为简单查询，复合查询，聚合查询等； 而复合查询及聚合查询都是基于简单查询的；简单查询里面对条件的匹配方式又分为不同类型。term[s]，match，match_all，match_phrase 等等 term 单词查询，在字段的倒排索引（发生分词）或者直接在字段值（

    2024年02月09日
    浏览(37)
  • ElasticSearch 高级查询语法Query DSL实战

    ElasticSearch 高级查询语法Query DSL实战

    ES中提供了一种强大的检索数据方式，这种检索方式称之为Query DSL（Domain Specified Language 领域专用语言） , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。 官方文档：https://www.elastic.co/guide/en/elasti

    2024年02月07日
    浏览(36)
  • Elasticsearch 查询之Function Score Query

    Elasticsearch 查询之Function Score Query

    前言 ES 的主查询评分模式分为两种，是信息检索领域的重要算法： TF-IDF 算法 和 BM25 算法。 Elasticsearch 从版本 5.0 开始引入了 BM25 算法作为默认的文档评分（relevance scoring）算法。在此之前，Elasticsearch 使用的是 TF-IDF 算法作为默认的文档评分算法。从版本 5.0 起，BM25 算法取代

    2024年02月12日
    浏览(29)
  • 【ElasticSearch系列-03】ElasticSearch的高级句法查询Query DSL

    【ElasticSearch系列-03】ElasticSearch的高级句法查询Query DSL

    ElasticSearch系列整体栏目 内容 链接地址 【一】ElasticSearch下载和安装 https://zhenghuisheng.blog.csdn.net/article/details/129260827 【二】ElasticSearch概念和基本操作 https://blog.csdn.net/zhenghuishengq/article/details/134121631 【二】ElasticSearch的高级查询Query DSL https://blog.csdn.net/zhenghuishengq/article/details/1

    2024年02月06日
    浏览(46)

  • Elasticsearch：使用 query_string 查询的短语及模糊查询

    在我之前的文章系列里，我详细描述了 query_string 的一些功能： Elasticsearch: query_string 查询 Elasticsearch：以更简单的方式编写具有逻辑条件的 Elasticsearch 查询 - query_string Elasticsearch：理解 query_string 和 simple_query_string 查询 在今天的文章中，我们来聊聊 query_string 中的一下特殊查询

    2024年02月09日
    浏览(34)
  • Elasticsearch：使用查询规则（query rules）进行搜索

    Elasticsearch：使用查询规则（query rules）进行搜索

    在之前的文章 “Elasticsearch 8.10 中引入查询规则 - query rules”，我们详述了如何使用 query rules 来进行搜索。这个交互式笔记本将向你介绍如何使用官方 Elasticsearch Python 客户端来使用查询规则。 你将使用 query rules API 将查询规则存储在 Elasticsearch 中，并使用 rule_query 查询它们。

    2024年02月21日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包