【ElasticSearch】DSL查询语法

这篇具有很好参考价值的文章主要介绍了【ElasticSearch】DSL查询语法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、DSL查询分类

Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来定义查询。官方文档:

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html

其中,常见的查询类型有:

  • 查询所有:查询出所有数据,一般测试用。例如:
match_all
  • 全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
match_query
multi_match_query
  • 精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
ids
range
term
  • 地理(geo)查询:根据经纬度查询。例如:
geo_distance
geo_bounding_box
  • 复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
bool
function_score

2、DSL基本语法

GET /indexName/_search
{
  "query": {
    "查询类型": {
      "查询条件": "条件值"
    }
  }
}

举例,查询类型为match_all,那查询条件就为空了:

查询dsl,ElasticSearch,elasticsearch,django,大数据
示例:

查询dsl,ElasticSearch,elasticsearch,django,大数据

3、全文检索查询

全文检索查询,会对用户输入内容分词,常用于搜索框搜索

查询dsl,ElasticSearch,elasticsearch,django,大数据

全文检索第一种:match查询

会对用户输入内容分词,然后去倒排索引库检索,语法:

GET /indexName/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT"
    }
  }
}

注意这里的字段只有一个,但实际场景如:输入虹桥,预期返回business、name、brand等字段包含虹桥的数据,如此就得用上一节的copy_to:all里的all字段:

GET /indexName/_search
{
  "query": {
    "match": {
      "all": "虹桥"
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据
若再加词语,分词的原因,则返回结果更多,且同时有如家和虹桥两个词语的结果会排到最前面:

GET /indexName/_search
{
  "query": {
    "match": {
      "all": "虹桥如家"
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

全文检索第二种:multi_match查询

与match查询类似,只不过允许同时查询多个字段,语法:

GET /indexName/_search
{
  "query": {
    "multi_match": {
      "query": "TEXT",
      "fields": ["FIELD1", " FIELD12"]
    }
  }
}

此时就不用借助copy_to和定义的all字段了:

GET /hotel/_search
{
  "query": {
    "multi_match": {
      "query": "虹桥如家",
      "fields": ["brand", "name","business"]
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

二者结果一样,但从性能考虑,推荐match+copy_to,因为参与搜索的字段越多,性能越低。


小结:
查询dsl,ElasticSearch,elasticsearch,django,大数据

4、精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常用的两种:

  • term:根据词条精确值查询
  • range:根据值的范围查询

查询dsl,ElasticSearch,elasticsearch,django,大数据

term查询:

// term查询
GET /indexName/_search
{
  "query": {
    "term": {
      "FIELD": {
        "value": "VALUE"
      }
    }
  }
}

举例:

// term查询
GET /hotel/_search
{
  "query": {
    "term": {
      "city": {
        "value": "上海"
      }
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

精确匹配,必须一模一样:

查询dsl,ElasticSearch,elasticsearch,django,大数据

range查询:

// range查询
GET /indexName/_search
{
  "query": {
    "range": {
      "FIELD": {
        "gte": 10,
        "lte": 20
      }
    }
  }
}

举例:

// range查询
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 100,
        "lte": 300
      }
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

gt: 大于
gte: 大于等于
lt: 小于
lte: 小于等于

小结:

查询dsl,ElasticSearch,elasticsearch,django,大数据

5、地理查询

根据经纬度查询。常见的使用场景包括:

  • 携程:搜索我附近的酒店
  • 滴滴:搜索我附近的出租车
  • 微信:搜索我附近的人

查询dsl,ElasticSearch,elasticsearch,django,大数据

geo_bounding_box:

查询geo_point值落在某个矩形范围的所有文档

// geo_bounding_box查询
GET /indexName/_search
{
  "query": {
    "geo_bounding_box": {
      "FIELD": {
        "top_left": {
          "lat": 31.1,
          "lon": 121.5
        },
        "bottom_right": {
          "lat": 30.9,
          "lon": 121.7
        }
      }
    }
  }
}

如下图,蓝色地标为一个个酒店,落在矩形之内的即是符合要求的:

查询dsl,ElasticSearch,elasticsearch,django,大数据

geo_distance:

查询到指定中心点小于某个距离值的所有文档

// geo_distance 查询
GET /indexName/_search
{
  "query": {
    "geo_distance": {
      "distance": "15km",
      "FIELD": "31.21,121.5"
    }
  }
}
// "31.21,121.5"是我的位置坐标
//FIELD则写酒店位置字段,即location
//以上即查出以我为中心,附近15KM内的酒店

查询dsl,ElasticSearch,elasticsearch,django,大数据

示例:

GET /hotel/_search
{
  "query": {
    "geo_distance": {
      "distance": "5km",
      "location": "31.21,121.5"
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

6、复合查询–相关性打分算法

复合(compound)查询就是将上面这几种简单查询组合起来,实现更复杂的搜索逻辑。

相关性打分算法

查询dsl,ElasticSearch,elasticsearch,django,大数据

查询dsl,ElasticSearch,elasticsearch,django,大数据
三个文档里都有如家,大家都加一定得分,那这个词意义不大,即它相应的权重应该低一点,因此,TF-IDF算法:

查询dsl,ElasticSearch,elasticsearch,django,大数据
TF-IDF算法受词频影响太大,
查询dsl,ElasticSearch,elasticsearch,django,大数据

因此elasticsearch5.0后,相关性打分算法采用BM25算法:

查询dsl,ElasticSearch,elasticsearch,django,大数据

小结:
查询dsl,ElasticSearch,elasticsearch,django,大数据

当然可以人为控制文档相关性算分,从而控制文档排名(fuction score:算分函数查询),例如百度竞价,谁出价高谁就在搜索第一位。

查询dsl,ElasticSearch,elasticsearch,django,大数据

7、复合查询之Function Score Query

使用 function score query,可以修改文档的相关性算分(query score),根据新得到的算分排序。

查询dsl,ElasticSearch,elasticsearch,django,大数据

关键点:

  • 过滤条件:哪些文档需要算分加权
  • 算分函数:与query score运算后得到新的算分
  • 加权模式:算分函数的结果和query score如何运算,相乘、相加、替代、求和、取平均…
案例:给"如家"这个品牌的酒店排名靠前一些

比如搜外滩附近的酒店,先不给任何品牌人工加分,看下结果:

查询dsl,ElasticSearch,elasticsearch,django,大数据
接下来过滤品牌为如家的,并给对应的文档加分,算分函数用weight,加权模式为默认的相乘:

GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {// ... },
      "functions": [ // 算分函数
        {
          "filter": { // 满足的条件,品牌必须是如家
            "term": {
              "brand": "如家"
            }
          },
          "weight": 2 // 算分权重为2
        }
      ],
      "boost_mode": "sum"
    }
  }
}

查询dsl,ElasticSearch,elasticsearch,django,大数据

可以看到外滩如家由3.8变成了38,一跃成为第一。

小结:

查询dsl,ElasticSearch,elasticsearch,django,大数据

8、复合查询之BooleanQuery

布尔查询是一个或多个查询子句的组合(和Function Score Query不一样,不是用来修改算分的)。子查询的组合方式有:

  • must:必须匹配must[ ]里的每个子查询,类似“与”
  • should:选择性匹配子查询,类似“或”
  • must_not:必须不匹配,不参与算分,类似“非”,常用于”不高于"、"不低于"场景
  • filter:必须匹配,不参与算分

适用场景如:

查询dsl,ElasticSearch,elasticsearch,django,大数据

对于不参与算分的查询,就放到must_not或者filter,减少不必要的算分,以提高查询性能。

GET /hotel/_search
{
  "query": {
    "bool": {   //类型为bool
      "must": [
        {"term": {"city": "上海" }}
      ],
      "should": [
        {"term": {"brand": "皇冠假日" }},
        {"term": {"brand": "华美达" }}  //这两个品牌都可以
      ],
      "must_not": [
        { "range": { "price": { "lte": 500 } }} //小于等于500取反,即大于500
      ],
      "filter": [
        { "range": {"score": { "gte": 45 } }}   //用户评分必须大于45分
      ]
    }
  }
}

需求:搜索名字包含“如家”,价格不高于400,在坐标31.21,121.5周围10km范围内的酒店。

GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {"name": "如家"}
        }
      ],
      "must_not": [
        {
          "range": { "price": {"gt": 400}}
        }
      ],
      "filter": [
        {
          "geo_distance": {
            "distance": "10km", "location": {"lat": 31.21, "lon": 121.5}
          }
        }
      ]
    }
  }
}

运行:

查询dsl,ElasticSearch,elasticsearch,django,大数据
将filter中的查询搬到must:

查询dsl,ElasticSearch,elasticsearch,django,大数据


小结:
查询dsl,ElasticSearch,elasticsearch,django,大数据

到此,可以使用DSL,来从海量数据中检索出我需要的数据了!!文章来源地址https://www.toymoban.com/news/detail-578095.html

到了这里,关于【ElasticSearch】DSL查询语法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • ElasticSearch - DSL查询文档语法,以及深度分页问题、解决方案

    ElasticSearch - DSL查询文档语法,以及深度分页问题、解决方案

    目录 一、DSL 查询文档语法 前言 1.1、DSL Query 基本语法 1.2、全文检索查询 1.2.1、match 查询 1.2.2、multi_match 1.3、精确查询 1.3.1、term 查询 1.3.2、range 查询 1.4、地理查询 1.4.1、geo_bounding_box 1.4.2、geo_distance 1.5、复合查询 1.5.1、相关性算分 1.5.2、function_score 1.5.3、boolean query 1.6、搜索

    2024年02月07日
    浏览(12)
  • 【Elasticsearch】 10-DSL语法详解-复合查询bool(must、should、must_not、filter)

    Elasticsearch是一个强大的搜索引擎,它提供了丰富的查询功能,以帮助你从大规模数据集中检索相关的文档。在Elasticsearch中, bool 查询是一个非常重要和强大的工具,它允许组合多个查询子句,以构建复杂的查询逻辑。在本篇文章中,我们将深入探讨 bool 查询,包括其概述、

    2024年02月05日
    浏览(19)
  • elasticsearch[二]-DSL查询语法:全文检索、精准查询(term/range)、地理坐标查询(矩阵、范围)、复合查询(相关性算法)、布尔查询

    elasticsearch[二]-DSL查询语法:全文检索、精准查询(term/range)、地理坐标查询(矩阵、范围)、复合查询(相关性算法)、布尔查询

    elasticsearch 的查询依然是基于 JSON 风格的 DSL 来实现的。 Elasticsearch 提供了基于 JSON 的 DSL(Domain Specific Language)来定义查询。常见的查询类型包括: 查询所有 :查询出所有数据,一般测试用。例如:match_all 全文检索(full text)查询 :利用分词器对用户输入内容分词,然后去

    2024年01月18日
    浏览(12)
  • ElasticSearch DSL语法

    ElasticSearch DSL语法

    一、文档批量操作 1.批量获取文档数据 批量获取文档数据是通过_mget的API来实现的 (1)在URL中不指定index和type 请求方式:GET 请求地址:_mget 功能说明 : 可以通过ID批量获取不同index和type的数据 请求参数: docs : 文档数组参数 _index : 指定index _type : 指定type(7.x的版本不推荐使

    2024年03月16日
    浏览(11)
  • elasticsearch 笔记二:搜索DSL 语法(搜索API、Query DSL)

    elasticsearch 笔记二:搜索DSL 语法(搜索API、Query DSL)

    从索引 tweet 里面搜索字段 user 为 kimchy 的记录 从索引 tweet,user 里面搜索字段 user 为 kimchy 的记录 从所有索引里面搜索字段 tag 为 wow 的记录 说明:搜索的端点地址可以是多索引多 mapping type 的。搜索的参数可作为 URI 请求参数给出,也可用 request body 给出 URI 搜索方式通过 URI

    2024年02月04日
    浏览(9)
  • 【Elasticsearch】DSL查询文档

    【Elasticsearch】DSL查询文档

    目录 1.DSL查询文档 1.1.DSL查询分类 1.2.全文检索查询 1.2.1.使用场景 1.2.2.基本语法 1.2.3.示例 1.2.4.总结 1.3.精准查询 1.3.1.term查询 1.3.2.range查询 1.3.3.总结 1.4.地理坐标查询 1.4.1.矩形范围查询 1.4.2.附近查询 1.5.复合查询 1.5.1.相关性算分 1.5.2.算分函数查询 1)语法说明 2)示例 3)小

    2024年02月16日
    浏览(7)
  • Elasticsearch:人类语言到 Elasticsearch 查询 DSL

    Elasticsearch:人类语言到 Elasticsearch 查询 DSL

    Elasticsearch 为开发者提供了强大的搜索功能。Elasticsearch 使用 DSL 来进行查询。对于很多从关系数据库过来的人,这个很显然不很适应。虽然我们可以使用 SQL 来进行查询,但是我们必须通过一些命令来进行转换。我们可以通过阅读文章: Elasticsearch:Elasticsearch SQL介绍及实例

    2024年02月04日
    浏览(8)
  • 常用的Elasticsearch查询DSL

    1.基本查询 2.多条件查询 3.范围查询 4.复杂查询 5.聚合查询

    2024年02月12日
    浏览(12)
  • ElasticSearch——DSL查询及结果处理

    ElasticSearch——DSL查询及结果处理

    常见的查询类型包括: 查询类型 描述 查询所有 查询出所有数据 例如:match_all 全文检索查询 利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:match 、 multi_match 精确查询 根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:id

    2024年02月06日
    浏览(8)
  • Elasticsearch中倒排索引、分词器、DSL语法使用介绍

    Elasticsearch中倒排索引、分词器、DSL语法使用介绍

    🍓 简介:java系列技术分享(👉持续更新中…🔥) 🍓 初衷:一起学习、一起进步、坚持不懈 🍓 如果文章内容有误与您的想法不一致,欢迎大家在评论区指正🙏 🍓 希望这篇文章对你有所帮助,欢迎点赞 👍 收藏 ⭐留言 📝 🍓 更多文章请点击 简介及安装请查看这篇 :Elasticsea

    2024年02月11日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包