ElasticSearch DSL语法

这篇具有很好参考价值的文章主要介绍了ElasticSearch DSL语法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、文档批量操作

1.批量获取文档数据

批量获取文档数据是通过_mget的API来实现的

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

(1)在URL中不指定index和type

  • 请求方式:GET

  • 请求地址:_mget

  • 功能说明 : 可以通过ID批量获取不同index和type的数据

  • 请求参数:

  • docs : 文档数组参数

  • _index : 指定index

  • _type : 指定type(7.x的版本不推荐使用)

  • _id : 指定id

  • _source : 指定要查询的字段

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

(2)在URL中指定index

  • 请求方式:GET

  • 请求地址:/{{indexName}}/_mget

  • 功能说明 : 可以通过ID批量获取不同index和type的数据

  • 请求参数:

  • docs : 文档数组参数

  • _index : 指定index

  • _type : 指定type(7.x的版本不推荐使用)

  • _id : 指定id

  • _source : 指定要查询的字段

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

(3)在URL中指定index和type

  • 请求方式:GET

  • 请求地址:/{{indexName}}/{{typeName}}/_mget

  • 功能说明 : 可以通过ID批量获取不同index和type的数据

  • 请求参数:

  • docs : 文档数组参数

  • _index : 指定index

  • _type : 指定type

  • _id : 指定id

  • _source : 指定要查询的字段

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

2.批量操作文档数据

批量对文档进行写操作是通过_bulk的API来实现的

  • 请求方式:POST

  • 请求地址:_bulk

  • 请求参数:通过_bulk操作文档,一般至少有两行参数(或偶数行参数)

  • 第一行参数为指定操作的类型及操作的对象(index,type和id)

  • 第二行参数才是操作的数据

{“actionName”:{“_index”:“indexName”, “_type”:“typeName”,“_id”:“id”}}

{“field1”:“value1”, “field2”:“value2”}

  • actionName:表示操作类型,主要有create,index,delete和update

(1)批量创建文档create

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

(2)普通创建或全量替换index

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 如果原文档不存在,则是创建
  • 如果原文档存在,则是替换(全量修改原文档)

(3)批量删除delete

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

(4)批量修改update

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

二.DSL语言高级查询

1.Query DSL概述

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

2.无查询条件

无查询条件是查询所有,默认是查询所有的,或者使用match_all表示所有

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

3.有查询条件

3.1 叶子条件查询(单字段查询条件)

3.1.1 模糊匹配

模糊匹配主要是针对文本类型的字段,文本类型的字段会对内容进行分词,对查询时,也会对搜索条件进行分词,然后通过倒排索引查找到匹配的数据,模糊匹配主要通过match等参数来实现

  • match : 通过match关键词模糊匹配条件内容
  • prefix : 前缀匹配
  • regexp : 通过正则表达式来匹配数据

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

match的复杂用法

match条件还支持以下参数:

  • query : 指定匹配的值

  • operator : 匹配条件类型

  • and : 条件分词后都要匹配

  • or : 条件分词后有一个匹配即可(默认)

  • minmum_should_match : 指定最小匹配的数量

3.1.2 精确匹配

  • term : 单个条件相等
  • terms : 单个字段属于某个值数组内的值
  • range : 字段属于某个范围内的值
  • exists : 某个字段的值是否存在
  • ids : 通过ID批量查询

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

3.2 组合条件查询(多条件查询)

组合条件查询是将叶子条件查询语句进行组合而形成的一个完整的查询条件

  • bool : 各条件之间有and,or或not的关系

  • must : 各个条件都必须满足,即各条件是and的关系

  • should : 各个条件有一个满足即可,即各条件是or的关系

  • must_not : 不满足所有条件,即各条件是not的关系

  • filter : 不计算相关度评分,它不计算_score即相关度评分,效率更高

  • constant_score : 不计算相关度评分

must/filter/shoud/must_not 等的子条件是通过 term/terms/range/ids/exists/match 等叶子条件为参数的

注:以上参数,当只有一个搜索条件时,must等对应的是一个对象,当是多个条件时,对应的是一个数组

3.3 连接查询(多文档合并查询)

  • 父子文档查询:parent/child
  • 嵌套文档查询: nested

3.4 DSL查询语言中存在两种:查询DSL(query DSL)和过滤DSL(filter DSL)

query DSL

在查询上下文中,查询会回答这个问题——“这个文档匹不匹配这个查询,它的相关度高么?”

如何验证匹配很好理解,如何计算相关度呢?ES中索引的数据都会存储一个_score分值,分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的,因此也需要一定的时间。

filter DSL

在过滤器上下文中,查询会回答这个问题——“这个文档匹不匹配?”

答案很简单,是或者不是。它不会去计算任何分值,也不会关心返回的排序问题,因此效率会高一点。

过滤上下文 是在使用filter参数时候的执行环境,比如在bool查询中使用must_not或者filter

另外,经常使用过滤器,ES会自动的缓存过滤器的内容,这对于查询来说,会提高很多性能。

3.5 Query方式查询:案例

  • 根据名称精确查询姓名 term, term查询不会对字段进行分词查询,会采用精确匹配

注意: 采用term精确查询, 查询字段映射类型属于为keyword.

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 根据备注信息模糊查询 match, match会根据该字段的分词器,进行分词查询

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 多字段模糊匹配查询与精准查询 multi_match

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 未指定字段条件查询 query_string , 含 AND 与 OR 条件

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 指定字段条件查询 query_string , 含 AND 与 OR 条件

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 范围查询

注:json请求字符串中部分字段的含义

​ range:范围关键字

​ gte 大于等于

​ lte 小于等于

​ gt 大于

​ lt 小于

​ now 当前时间

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

  • 分页、输出字段、排序综合查询

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

_source :

3.6 Filter过滤器方式查询,它的查询不会计算相关性分值,也不会对结果进行排序, 因此效率会高一点,查询的结果可以被缓存。

Filter Context 对数据进行过滤

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

总结:

  1. match

match:模糊匹配,需要指定字段名,但是输入会进行分词,比如"hello world"会进行拆分为hello和world,然后匹配,如果字段中包含hello或者world,或者都包含的结果都会被查询出来,也就是说match是一个部分匹配的模糊查询。查询条件相对来说比较宽松。

  1. term

term: 这种查询和match在有些时候是等价的,比如我们查询单个的词hello,那么会和match查询结果一样,但是如果查询"hello world",结果就相差很大,因为这个输入不会进行分词,就是说查询的时候,是查询字段分词结果中是否有"hello world"的字样,而不是查询字段中包含"hello world"的字样。当保存数据"hello world"时,elasticsearch会对字段内容进行分词,“hello world"会被分成hello和world,不存在"hello world”,因此这里的查询结果会为空。这也是term查询和match的区别。

  1. match_phase

match_phase:会对输入做分词,但是需要结果中也包含所有的分词,而且顺序要求一样。以"hello world"为例,要求结果中必须包含hello和world,而且还要求他们是连着的,顺序也是固定的,hello that world不满足,world hello也不满足条件。

  1. query_string

query_string:和match类似,但是match需要指定字段名,query_string是在所有字段中搜索,范围更广泛。

三.文档映射

1.ES中映射可以分为动态映射和静态映射

动态映射:

在关系数据库中,需要事先创建数据库,然后在该数据库下创建数据表,并创建表字段、类型、长度、主键等,最后才能基于表插入数据。

而Elasticsearch中不需要定义Mapping映射(即关系型数据库的表、字段等),在文档写入Elasticsearch时,会根据文档字段自动识别类型,这种机制称之为动态映射。

动态映射规则如下:

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

静态映射:

静态映射是在Elasticsearch中也可以事先定义好映射,包含文档的各字段类型、分词器等,这种方式称之为静态映射。

2 动态映射

2.1 删除原创建的索引

DELETE /es_db

2.2 创建索引

PUT /es_db

2.3 创建文档(ES根据数据类型, 会自动创建映射)

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

2.4 获取文档映射

GET /es_db/_mapping

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

3 静态映射

3.1 删除原创建的索引

DELETE /es_db

3.2 创建索引

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

3.3 设置文档映射

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

“index”: true – name是否需要进行分词 true-需要

“store”:true – 是否存储 true 时会将查询到的数据存储起来

如果一个字段的mapping中含有store属性为true,那么有一个单独的存储空间为这个字段做存储,而且这个存储是独立于_source的存储的。它具有更快的查询。存储该字段会占用磁盘空间。如果需要从文档中提取(即在脚本中和聚合),它会帮助减少计算。在聚合时,具有store属性的字段会比不具有这个属性的字段快。 此选项的可能值为false和true。

3.5 获取文档映射

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

由于ElasticSearch使用索引名称作为磁盘上的目录名称,这些名称必须符合不同操作系统的约定。
同时需遵守下列规则:

  • 索引名必须为小写字母
  • 不能包括 , /, *, ?, “, <, >, |, 空格, 逗号, #
  • 7.0版本之后不能使用冒号:
  • 不能以这些字符 -, _, + 开头
  • 不能包括 . 或 …
  • 长度不能超过 255 个字符

四.核心类型(Core datatype)

字符串:string,string类型包含 text 和 keyword。

text:该类型被用来索引长文本,在创建索引前会将这些文本进行分词,转化为词的组合,建立索引;允许es来检索这些词,text类型不能用来排序和聚合。

keyword:该类型不能分词,可以被用来检索过滤、排序和聚合,keyword类型不可用text进行分词模糊检索。

数值型:long、integer、short、byte、double、float

日期型:date

布尔型:boolean

五.keyword 与 text 映射类型的区别

将 book 字段设置为 keyword 映射 (只能精准查询, 不能分词查询,能聚合、排序)

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

将 book 字段设置为 text 映射能模糊查询, 能分词查询,不能聚合、排序)

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

term: 不会被拆开

match:会被拆开

六.创建静态映射时指定text类型的ik分词器

1.设置ik分词器的文档映射

先删除之前的es_db

再创建新的es_db

定义ik_smart的映射

PUT /es_db

{

“mappings”:{

“properties”:{

“name”:{“type”:“keyword”,“index”:true,“store”:true},

“sex”:{“type”:“integer”,“index”:true,“store”:true},

“age”:{“type”:“integer”,“index”:true,“store”:true},

“book”:{“type”:“text”,“index”:true,“store”:true,“analyzer”:“ik_smart”,“search_analyzer”:“ik_smart”},

“address”:{“type”:“text”,“index”:true,“store”:true}

}

}

}

2.分词查询

POST /es_db/_doc/_search

{

“query”: {

“match”: {“address”: “广”}

}

}

POST /es_db/_doc/_search

{

“query”: {

“match”: {“address”: “广州”}

}

}

七.对已存在的mapping映射进行修改

具体方法

1)如果要推倒现有的映射, 你得重新建立一个静态索引

2)然后把之前索引里的数据导入到新的索引里

3)删除原创建的索引

4)为新索引起个别名, 为原索引名

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

注意: 通过这几个步骤就实现了索引的平滑过渡,并且是零停机

八.Elasticsearch乐观并发控制

在数据库领域中,有两种方法来确保并发更新,不会丢失数据:

1、悲观并发控制

这种方法被关系型数据库广泛使用,它假定有变更冲突可能发生,因此阻塞访问资源以防止冲突。 一个典型的例子是读取一行数据之前先将其锁住,确保只有放置锁的线程能够对这行数据进行修改。

2、乐观并发控制

Elasticsearch 中使用的这种方法假定冲突是不可能发生的,并且不会阻塞正在尝试的操作。 然而,如果源数据在读写当中被修改,更新将会失败。应用程序接下来将决定该如何解决冲突。 例如,可以重试更新、使用新的数据、或者将相关情况报告给用户。

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

4、实现_version乐观锁更新文档

es数据库dsl使用,ElasticSearch,elasticsearch,大数据

本次操作使用的版本时7.12.1 version关键字已经被淘汰了不能使用。

5、ES新版本(7.x)不使用version进行并发版本控制 if_seq_no=版本值&if_primary_term=文档位置

_seq_no:文档版本号,作用同_version

_primary_term:文档所在位置

es数据库dsl使用,ElasticSearch,elasticsearch,大数据文章来源地址https://www.toymoban.com/news/detail-840433.html

到了这里,关于ElasticSearch DSL语法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • elasticsearch 笔记二:搜索DSL 语法(搜索API、Query DSL)

    从索引 tweet 里面搜索字段 user 为 kimchy 的记录 从索引 tweet,user 里面搜索字段 user 为 kimchy 的记录 从所有索引里面搜索字段 tag 为 wow 的记录 说明:搜索的端点地址可以是多索引多 mapping type 的。搜索的参数可作为 URI 请求参数给出,也可用 request body 给出 URI 搜索方式通过 URI

    2024年02月04日
    浏览(56)
  • 【ElasticSearch】DSL查询语法

    Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来定义查询。官方文档: 其中,常见的查询类型有: 查询所有 :查询出所有数据,一般测试用。例如: 全文检索(full text)查询 :利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如: 精确查询 :根据精确

    2024年02月16日
    浏览(45)
  • ElasticSearch DSL语法

    一、文档批量操作 1.批量获取文档数据 批量获取文档数据是通过_mget的API来实现的 (1)在URL中不指定index和type 请求方式:GET 请求地址:_mget 功能说明 : 可以通过ID批量获取不同index和type的数据 请求参数: docs : 文档数组参数 _index : 指定index _type : 指定type(7.x的版本不推荐使

    2024年03月16日
    浏览(40)
  • ElasticSearch - DSL查询语法

    目录 DSL查询分类 全文检索查询 精确查询 地理查询 复合查询 相关性算分 算分函数查询 BooleanQuery DSL查询分类 Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来定义查询 常见的查询类型包括: 查询所有:查询出所有的数据,一般测试用;例如:match_all 全文检索(full text)查询

    2023年04月08日
    浏览(47)
  • ES高级查询语法DSL实战 - 第504篇

    历史文章( 文章 累计500+) 《国内最全的Spring Boot系列之一》 《国内最全的Spring Boot系列之二》 《国内最全的Spring Boot系列之三》 《国内最全的Spring Boot系列之四》 《国内最全的Spring Boot系列之五》 《国内最全的Spring Boot系列之六》 《国内最全的Spring Boot系列之七》 E

    2024年04月27日
    浏览(49)
  • 【ElasticSearch-基础篇】ES高级查询Query DSL术语级别查询并结合springboot使用

    Elasticsearch 提供了基于 JSON 的完整 Query DSL(Domain Specific Language)来定义查询。 因Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互,所以我们在使用springboot的时候也可以很方便的进行集成,本文主要讲述的就是使用springboot实现各类DSL的语法查询。 Elastics

    2024年02月01日
    浏览(53)
  • ElasticSearch 高级查询语法Query DSL实战

    ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL(Domain Specified Language 领域专用语言) , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互,这种方式的丰富查询语法让ES检索变得更强大,更简洁。 官方文档:https://www.elastic.co/guide/en/elasti

    2024年02月07日
    浏览(48)
  • 2.ElasticSearch 高级查询语法Query DSL实战

    ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL (Domain Specified Language 领域专用语言 ) , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互,这种方式的丰富查询语法让ES检索变得更强大,更简洁。 Query DSL | Elasticsearch Guide [7.17] | Elastic 语法

    2024年03月15日
    浏览(51)
  • ElasticSearch - DSL查询文档语法,以及深度分页问题、解决方案

    目录 一、DSL 查询文档语法 前言 1.1、DSL Query 基本语法 1.2、全文检索查询 1.2.1、match 查询 1.2.2、multi_match 1.3、精确查询 1.3.1、term 查询 1.3.2、range 查询 1.4、地理查询 1.4.1、geo_bounding_box 1.4.2、geo_distance 1.5、复合查询 1.5.1、相关性算分 1.5.2、function_score 1.5.3、boolean query 1.6、搜索

    2024年02月07日
    浏览(51)
  • 【ElasticSearch-基础篇】ES高级查询Query DSL全文检索

    和术语级别查询(Term-Level Queries)不同,全文检索查询(Full Text Queries)旨在 基于相关性搜索和匹配文本数据 。这些查询会对输入的文本进行分析,将其 拆分 为词项(单个单词),并执行诸如分词、词干处理和标准化等操作。 全文检索的关键特点: 对输入的文本进行分析

    2024年01月22日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包