Elasticsearch学习-索引操作及Mapping映射

这篇具有很好参考价值的文章主要介绍了Elasticsearch学习-索引操作及Mapping映射。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、名词解释

1)索引

在7.X版本前类似于关系型数据库中的数据库概念,8.X版本后删除了type概念,索引类似于关系型数据库中的表

2)文档

相当于关系型数据库中的一条数据,最小单元

3)节点

每一个节点就是一个ES实例(一个java进程),一个节点 != 一台服务器

4)集群

多个节点组成分布式系统,ES原生分布式,已启动一个ES进程,再启动一个进程,这个进程会自动发现集群并进入,前提条件是所有节点配置一套集群信息

5)分片

一个索引包含一个多个分片,7.0之前默认五个主分片,每个主分片一个副本,在7.0之后默认一个主分片,副本可以在索引创建之后修改数量,但是主分片的数量一旦确定不可修改。

每个分片都是一个Lucene实例,有完成的创建索引和处理请求的能力

ES会自动在节点上做分片均衡,每个主分片和其副本分片不能同时存在于同一个节点上

Mysql ES
dataBase数据库 index索引库
table表 type类型(8.X版本删除此概念)
row行 记录 document文档
column列 field字段

二、索引CRUD

 1)创建索引

PUT /indexName?pretty

2)查询操作

# 查询索引信息
GET _cat/indices?v
# 查询所有数据
GET /indexName/_search
# 查询第一条数据
GET /indecName/_doc/1

3)删除操作

# 删除索引
DELETE /indexName?pretty
#删除数据
DELETE /indexName/_doc/id

4) 插入数据

#插入数据 指定id
PUT /indexName/_doc/id
{
    Json数据
}

# 示例
PUT /product/_doc/1
{
    "name":"手机",
    "price":"1399",
    "desc":["美观","小巧"]
}

5)修改数据

1. 同插入数据,全量替换

2. 指定字段更新(两种格式均可)

POST /indexName/_doc/1 _update
{
  "doc":{
     "fieldName":""
   }
}

POST /indexName/_update/id
{
  "doc":{
     "fieldName":""
   }
}

三、Mapping映射

定义文档及其包含字段的存储和索引信息,类似“表结构” 概念

包含属性:字段名称、类型、字段使用的分词器、是否评分、是否创建索引等

1)查看mapping

GET /indexName/_mappings

 2) ES数据类型

常见数据类型

1. 数字类型

long    integer    short    byte    double    float    half_float    scaled_float   unsigned_long

2.  keywords 

keyword:适用于索引结构化的字段,只能精确值搜索,可以用于过滤、排序、聚合

constant_keyword:始终包含相同值的关键字字段

wildcard: 可针对类似grep的通配符查询优化日志行等类似的关键字值

3. 时间类型 Dates :包括 date和date_nanos

4. alias 定义别名

5. binary 二进制

6. range 区间类型 integer_range、float_range、long_range、double_range、date_range

7. text 类型

设置text类型以后,字段内容会被分析,在生成倒排索引(默认)以前,字符串会被分析器分成一个一个词项,text类型的字段不用于排序,很少用于聚合

对象关系类型

1. object : 用于单个JSON对象

2. nested: 用于JSON对象数组

3. flattened: 允许将整个JSON对象索引为单个字段

结构化类型

1. geo-point:纬度/经度积分

​2. geo-shape:用于多边形等复杂形状

3. point:笛卡尔坐标点

4. shape:笛卡尔任意几何图形

特殊类型(常用)

1. IP地址:ip 用于IPv4和IPv6地址

2. completion 提供自动完成建议

数组 array

在Elasticsearch中,数组不需要专用的字段数据类型。默认情况下,任何字段都可以包含零个或多个值,但是,数组中的所有值都必须具有相同的数据类型

3)映射类型

动态 自动映射

整数 long
浮点数 float
true | false boolean
日期 date
数组 与数组中的第一个有效值同
对象 object
字符串 若不是数字和日期类型,将被映射为text和keyword两个类型
PUT /product_mapping/_doc/1
{
  "name": "手机",
  "desc": "插入数据 直接自动映射",
  "count": 100,
  "price": 1999.9,
  "date": "2022-12-7",
  "isdel": true,
  "tags": [
    "xiaoqiao",
    "fashion"
  ]
}

静态 手动映射 

# 案例
PUT /product
{
  "mappings": {
    "properties": {
      "date": {
        "type": "text"
      },
      "desc": {
        "type": "text",
        "analyzer": "english"
      },
      "name": {
        "type": "text",
        "index": "false"
      },
      "price": {
        "type": "long"
      },
      "tags": {
        "type": "text",
        "index": "true"
      },
      "parts": {
        "type": "object"
      },
      "partlist": {
        "type": "nested"
      }
    }
  }
}

 常用映射参数

1. index: 是否对当前字段创建倒排索引,默认为true,若为false,该字段不会通过索引被搜索到,但是仍会在source元数据中展示

2. analyzer:指定分析器(character filter、tokenizer、Token filters)

3. doc_values:为了提升排序和聚合效率,默认true,如果确定不需要对字段进行排序或聚合,也不需要通过脚本访问字段值,则可以禁用doc值以节省磁盘空间(不支持text和annotated_text)

4. eager_global_ordinals:用于聚合的字段上,优化聚合性能

5. enable:是否创建倒排索引,可以对字段操作,也可以对索引操作

 PUT my_index
 {
    "mappings": 
    {
       "enabled": false
    }
  }

6.  fielddata:查询时内存数据结构,在首次用当前字段聚合、排序或者在脚本中使用时,需要字段为fielddata数据结构,并且创建倒排索引保存到堆中

#每个tag产品的数量   "size":0, 不显示原始结果
GET /product/_search
{
  "aggs": {
    "tag_agg_group": {
      "terms": {
        "field": "tags"
      }
    }
  },
  "size":0
}

#将文本field的fielddata属性设置为true
PUT /product/_mapping
{
  "properties": {
    "tags": {
      "type": "text",
      "fielddata": true
    }
  }
}

7. fields:给field创建多字段,用于不同目的(全文检索或者聚合分析排序)

# 给product创建一个keyword
PUT fields_test
{
  "mappings": {
    "properties": {
      "product": {
        "type": "text",
        "fields": {
          "raw": { 
            "type":  "keyword"
          }
        }
      }
    }
  }
}

# 插入数据
PUT fields_test/_doc/1
{
  "product": "New York"
}

# 查询数据
GET fields_test/_search
{
  "query": {
    "match": {
      "product": "york" 
    }
  },
  "sort": {
    "product.raw": "asc" 
  },
  "aggs": {
    "product": {
      "terms": {
        "field": "product.raw" 
      }
    }
  }
}

8. norms:是否禁用评分(在filter和聚合字段上应该禁用)

9.  null_value:为null值设置默认值

10. search_analyzer:设置单独的查询时分析器

11. store:设置字段是否仅查询

12. format:格式化

"date": {
     "type":  "date",
     "format": "yyyy-MM-dd"
   }

13. copy_to 将多个字段的值复制到组字段中,然后可以将其作为单个字段进行查询 

# mapping映射
PUT copy_to_test
{
  "mappings": {
    "properties": {
      "field1": {
        "type": "text",
        "copy_to": "field_all" 
      },
      "field2": {
        "type": "text",
        "copy_to": "field_all" 
      },
      "field_all": {
        "type": "text"
      }
    }
  }
}

# 数据插入
PUT copy_to/_doc/1
{
  "field1": "field1",
  "field2": "field2"
}

# 查询 可匹配到数据
GET copy_to/_search
{
  "query": {
    "match": {
      "field_all": { 
        "query": "field1 field2"
      }
    }
  }
}

 14. coerce:是否允许强制类型转换

# mapping映射
PUT coerce_test
{
  "mappings": {
    "properties": {
      "number_one": {
        "type": "integer"
      },
      "number_two": {
        "type": "integer",
        "coerce": false
      }
    }
  }
}
# 插入数据
# 成功
PUT coerce_test/_doc/1
{
  "number_one": "10" 
}
#//失败,因为coerce设置了false
PUT coerce_test/_doc/2
{
  "number_two": "10" 
}  

15.  dynamic:控制是否可以动态添加新字段 

 true 新检测到的字段将添加到映射中(默认)

​ false 新检测到的字段将被忽略,这些字段将不会被索引,因此将无法搜索,但仍会出现在_source返回的匹配项中。这些字段不会添加到映射中,必须显式 添加新字段。

​ strict 如果检测到新字段,则会引发异常并拒绝文档,必须将新字段显式添加到映射中文章来源地址https://www.toymoban.com/news/detail-421584.html

PUT dynamic_test
{
  "mappings": {
    "dynamic": false,
    "properties": {
      "user": {
        "properties": {
          "date": {
            "type": "text"
          }
        }
      }
    }
  }
}

到了这里,关于Elasticsearch学习-索引操作及Mapping映射的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (Rest风格API)Elasticsearch索引操作、映射配置、数据操作、查询操作

    1.请求方式:put 2.请求路径:索引库名 3.请求参数:json格式 number_of_shards 是指索引要做多少个分片,只能在创建索引时指定,后期无法修改。 number_of_replicas 是指每个分片有多少个副本,后期可以动态修改 什么是分片? ES中所存数据的文件块,也是数据的最小单元块。假如有

    2024年04月26日
    浏览(32)
  • (4)elasticsearch的Mapping(映射)

    映射是定义文档及其包含的字段的存储和索引方式的过程。 两种映射方式 dynamic mapping(动态映射或自动映射) expllcit mapping(静态映射或手工映射或显示映射) Mapping数据类型 Mapping参数 https://www.elastic.co/guide/en/elasticsearch/reference/7.10/removal-of-types.html Mapping 也称之为映射,定义

    2024年02月03日
    浏览(26)
  • 【ELK03】ES 索引的Mapping映射详解、数据类型和settings属性设置

    映射(MAPPING)就是es中一个决定了文档如何存储,如何生成索引,字段各种类型定义的过程.类似于我们在关系型数据库中创建一个 表格数据之前先定义表格有哪些字段,每个字段是什么类型 ,然后数据会按照这个配置写入表格,ES中同样是这个过程,它由两种映射组成.一个是 动态映射

    2024年02月03日
    浏览(39)
  • Elasticsearch:映射(mapping)的实用实践指南

    动态映射适用于开发环境,但对于生产级集群禁用它。 将动态配置为 “strict” 以对索引的字段值实施严格模式。有关动态映射的详细描述,请阅读文章 “Elasticsearch:Dynamic mapping”。 当文档大量存储时,可以在定义字段映射时使用优化来节省磁盘空间。 禁用强制(coerce)。

    2024年02月12日
    浏览(29)
  • elasticsearch中文档映射Mapping用法详解

    Mapping类似数据库中的schema的定义,作用如下: 定义索引中的字段的名称 定义字段的数据类型,例如字符串,数字,布尔等 字段,倒排索引的相关配置(Analyzed or Not Analyzed,Analyzer) ES中Mapping映射可以分为动态映射和静态映射。 动态映射:         在关系数据库中,需要事先创

    2024年02月16日
    浏览(36)
  • Elasticsearch:Explicit mapping - 显式映射

    显式映射相比较动态映射(Dynamic mapping)是需要我们在索引创建时就定义字段及其类型。这个和我们传统的 RDMS 数据库一样,在我们写入数据到数据库之前,我们需要工整地定义好每个字段及其类型和长度。Elasticsearch 既可以使用显式映射也可以同时使用动态映射。在许多的

    2024年02月02日
    浏览(39)
  • [golang gin框架] 38.Gin操作Elasticsearch创建索引、修改映射、数据CURD以及数据分页

    常见的 Golang 操作 ElasticSearch 的插件主要有下面两个: 第三方插件: github.com/olivere/elastic 官网插件 github.com/elastic/go-elasticsearch 其中 elastic 比 go-elasticsearch 文档更全面一些,start 量也更多一些,本节讲解 elastic 使用第三方库 https://github.com/olivere/elastic 来连接 ES 并进行操作 注意

    2024年02月09日
    浏览(48)
  • es elasticsearch 八 mapping 映射 、复杂数据类型

    目录 Mapping 映射 复杂数据类型 Mapping 映射 精确匹配 必须和对应字段值安全一致才可查出 全文检索 缩写搜索全程、格式转换 大小写 同义词 全文检索核心原理 分词,初步的倒排索引的建立 重建倒排索引 时态转换、重复数的转换、同义词的转换、大小写的转换 分词器 analy

    2024年02月07日
    浏览(46)
  • ElasticSearch索引mapping添加字段

    ES版本5.3.0,在已存在的索引mapping中添加字段。 如下: my_index索引名称,my_type为索引类型名称,new_field_name为新增的字段名称。 如下: 返回为true代表添加操作成功。

    2024年02月13日
    浏览(31)
  • Elasticsearch 创建索引mapping修改、修复

    背景:原始index名字是indexName,mapping设置错误,且已经有数据进去,想要修改mapping结构 返回结果:表示新建索引成功 下面表示把indexName的数据同步到indexName_1

    2024年02月11日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包