Java修仙传之神奇的ES(基础使用)

这篇具有很好参考价值的文章主要介绍了Java修仙传之神奇的ES(基础使用)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

2023/11/9更新:高级查询及结果显示篇:Java修仙传之神奇的ES2(巧妙的查询及处理)-CSDN博客

前言

ES是什么:一款强大的搜索引擎

ES拓展:elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)
kibana:可视化
ES:搜索引擎
Logstash:数据抓取,数据同步

ES为什么搜索快:核心:倒排索引

ES的底层:Java语言的搜索引擎类库Lucene

ES的竞品:solr,splunk等

什么是elasticsearch?
一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack(ELK)?
是以elasticsearch为核心的技术栈,包括beats、Logstash、kibana、elasticsearch

什么是Lucene?
是Apache的开源搜索引擎类库,提供了搜索引擎的核心API

倒排索引(底层原理)

正向索引

有没有正向索引呢?
	有。mysql id查询,全表扫描,模糊搜索等。
	特征:逐条搜索,依次递进

举例:模糊搜索x表中,携带手机的数据

Java修仙传之神奇的ES(基础使用),wpf

流程概述:逐条搜索,逐条比对

1)用户搜索数据,条件是title符合"%手机%"

2)逐行获取数据,比如id为1的数据

3)判断数据中的title是否符合用户搜索条件

4)如果符合则放入结果集,不符合则丢弃。回到步骤1

如果添加一个条件 id = x

1:id查询

2:拿到数据比对

3:符合返回,不符合为空

备注:随着数量增加,即使增加了索引,速度也会逐渐变慢

倒排索引(根据词条查询,发挥最大效果)

备注:根据关键字查询时,发挥最大效果

本质:就是一个词条库,一词条对应N个ID。变相的id查询。

关键字输入->分词->获取文档id->根据文档id查询

概念了解:
一个es,有多个索引库
一个索引库下,有N条数据(每条数据叫一个文档)
一条文档,可以被分为N个词条

倒排索引,正是基于词条

创建倒排索引是对正向索引的一种特殊处理,流程如下:

- 将每一个文档的数据利用算法分词,得到一个个词条
- 创建表,每行数据包括词条、词条所在文档id、位置等信息
- 因为词条唯一性,可以给词条创建索引,例如hash表结构索引

Java修仙传之神奇的ES(基础使用),wpf

倒排索引流程

倒排索引的搜索流程如下(以搜索"华为手机"为例):

1)用户输入条件"华为手机"进行搜索。

2)对用户输入内容分词,得到词条:华为、手机。

3)拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。

4)拿着文档id到正向索引中查找具体文档。

Java修仙传之神奇的ES(基础使用),wpf

总结

- 正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程。
- 而倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是根据词条找文档的过程。

正向索引:
- 优点:
  - 可以给多个字段创建索引
  - 根据索引字段搜索、排序速度非常快
- 缺点:
  - 根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。

倒排索引:
- 优点:
  - 根据词条搜索、模糊搜索时,速度非常快
- 缺点:
  - 只能给词条创建索引,而不是字段
  - 无法根据字段做排序

ES的一些概念

索引库(=MYSQL的库)

elasticsearch是面向文档(Document)存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中:

Java修仙传之神奇的ES(基础使用),wpf

举例:

MYSQL用户表 = ES用户索引库

MYSQL订单表 = ES订单索引库

Java修仙传之神奇的ES(基础使用),wpf

字段(=MYSQL列名)

Java修仙传之神奇的ES(基础使用),wpf

文档(=MYSQL一条数据)

一个文档=MYSQL一条数据

Java修仙传之神奇的ES(基础使用),wpf

映射(=MYSQL约束(唯一非空等))

DSL语句(=SQL语句)

大白话:ES的操作语句

概念总结

MySQL

Elasticsearch

说明

Table

Index

索引(index),就是文档的集合,类似数据库的表(table)

Row

Document

文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式

Column

Field

字段(Field),就是JSON文档中的字段,类似数据库中的列(Column)

Schema

Mapping

Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)

SQL

DSL

DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD

ES跟MYSQL区别

- Mysql:擅长事务类型操作,可以确保数据的安全和一致性
- Elasticsearch:擅长海量数据的搜索、分析、计算

使用场景

  • 对安全性要求较高的写操作,使用mysql实现
  • 对查询性能要求较高的搜索需求,使用elasticsearch实现
  • 两者再基于某种方式,实现数据的同步,保证一致性

Java修仙传之神奇的ES(基础使用),wpf

备注:这里数据同步用的就是Logstash

IK分词器

:w            - 保存文件,不退出 vim
:w file  -将修改另外保存到 file 中,不退出 vim
:w!          -强制保存,不退出 vim
:wq          -保存文件,退出 vim
:wq!        -强制保存文件,退出 vim
:q            -不保存文件,退出 vim
:q!          -不保存文件,强制退出 vim
:e!          -放弃所有修改,从上次保存文件开始再编辑

1:添加配置

Java修仙传之神奇的ES(基础使用),wpf

2:定义文件,添加词语(要分为一组的)

备注:就是写个文件,直接把词加进去。文件名=上面配置的

3:重启es,kibana,测试即可

SDL语句

索引库操作

PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}
GET /索引库名
PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}
倒排索引结构虽然不复杂,但是一旦数据结构改变(比如改变了分词器),就需要重新创建倒排索引,这简直是灾难。因此索引库一旦创建,无法修改mapping。
虽然无法修改mapping中已有的字段,但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响。
- 请求方式:DELETE
- 请求路径:/索引库名
- 请求参数:无
删除索引库:DELETE /索引库名
- 创建索引库:PUT /索引库名
- 查询索引库:GET /索引库名
- 删除索引库:DELETE /索引库名
- 添加字段:PUT /索引库名/_mapping

文档操作

POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}
GET /{索引库名称}/_doc/{文档id}
DELETE /{索引库名}/_doc/id值
// 备注:这种方式相当于覆盖了原文档(全量修改)
PUT /{索引库名}/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

// 备注:这种方式修改了指定id匹配的文档中的部分字段
POST /{索引库名}/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}
#  查询全部文档
GET 索引库名/_search

- 创建文档:POST /{索引库名}/_doc/文档id   { json文档 }
- 查询文档:GET /{索引库名}/_doc/文档id
- 删除文档:DELETE /{索引库名}/_doc/文档id
- 修改文档:
  - 全量修改:PUT /{索引库名}/_doc/文档id { json文档 }
  - 增量修改:POST /{索引库名}/_update/文档id { "doc": {"字段名":"新值"}}

Java修仙传之神奇的ES(基础使用),wpf

Java修仙传之神奇的ES(基础使用),wpf文章来源地址https://www.toymoban.com/news/detail-739710.html

RestHighLevelClient

依赖

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

SpringBoot默认的ES版本是7.6.2,所以我们需要覆盖默认的ES版本:
<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

索引库:创建,删除,判断是否存在

   private RestHighLevelClient client;

    //总结下流程:
    //1:基于配置文件或者代码连接到ES集群
    //2:初始化RestHighLevelClient
    //3:使用RestHighLevelClient来操作索引库(记得关闭连接)
        //3.1:不同的需求,写不同的api
        //3.2:发送给ES集群的请求,都是Request对象
    
    //判断索引库是否存在
    @Test
    void testExistsHotelIndex() throws IOException {
        boolean exists = client.indices().exists(new org.elasticsearch.client.indices.GetIndexRequest("hotel"), RequestOptions.DEFAULT);
        System.out.println("索引库是否存在:" + exists);
    }

    //删除索引库
    @Test
    void testDeleteHotelIndex() throws IOException {
        // 1.创建Request对象
        DeleteIndexRequest request = new DeleteIndexRequest("hotel");
        // 2.发送请求
        client.indices().delete(request, RequestOptions.DEFAULT);
    }

    //创建索引库
    @Test
    void createHotelIndex() throws IOException {
        // 1.创建Request对象
        CreateIndexRequest request = new CreateIndexRequest("hotel");
        // 2.准备请求的参数:DSL语句
        request.source(HotelConstants.MAPPING_TEMPLATE, XContentType.JSON);
        // 3.发送请求
        //如果提示过时, CreateIndexRequest导包需要导入短的那个,长的那个过时了
        CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);
        System.out.println("索引库创建结果是:" + response.isAcknowledged());
    }

	
    //在每一个测试方法(@Test)之前都会运行
    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
            //ip因人而异
                HttpHost.create("http://192.168.200.130:9200")
        ));
    }
	//在每一个测试方法(@Test)之后都会运行
    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }

文档:新增,删除,查询,修改,批量操作

 @Autowired
    private IHotelService hotelService;

    private RestHighLevelClient client;

    //批量新增(BulkRequest增删改都是用)
    @Test
    void testBulkRequest() throws IOException {
        // 批量查询酒店数据
        List<Hotel> hotels = hotelService.list();

        // 1.创建Request
        BulkRequest request = new BulkRequest();
        // 2.准备参数,添加多个新增的Request
        for (Hotel hotel : hotels) {
            // 2.1.转换为文档类型HotelDoc
            HotelDoc hotelDoc = new HotelDoc(hotel);
            // 2.2.创建新增文档的Request对象
            IndexRequest hotel1 = new IndexRequest("hotel").id(hotelDoc.getId().toString());
            hotel1.source(JSON.toJSONString(hotelDoc), XContentType.JSON);
            request.add(hotel1);
        }
        // 3.发送请求
        client.bulk(request, RequestOptions.DEFAULT);
    }


    //修改文档
    // POST /索引库名/_update/文档id
//    {
//        "doc"{
//            "name": "四钻",
//            "price": "952"
//        }
//    }
//    }
    //全量修改:根据id覆盖
    //增量修改:根据id修改对应数据
    @Test
    void testUpdateDocument() throws IOException {
        // 1.准备Request
        UpdateRequest request = new UpdateRequest("hotel", "61083");
        //准备请求参数
        request.doc(
                "price", "952",
                "startName", "四钻"
        );
        //发送请求
        client.update(request, RequestOptions.DEFAULT);
    }


    //删除文档  DELETE /hotel/_doc/{id}
    @Test
    void testDeleteDocument() throws IOException {
        // 1.准备Request
        DeleteRequest request = new DeleteRequest("hotel", "61083");
        // 2.发送请求
        client.delete(request, RequestOptions.DEFAULT);
    }

    //查询文档  GET /hotel/_doc/{id}
    @Test
    void testQueryDocument() throws IOException {
        //准备req对象
        GetRequest request = new GetRequest("hotel").id("61083");
        //发送请求
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        //解析响应结果
        if (response.isExists()) {
            String sourceAsString = response.getSourceAsString();
            HotelDoc hotelDoc = JSON.parseObject(sourceAsString, HotelDoc.class);
            System.out.println(hotelDoc);
        }
    }


    //新增文档
//    POST /{索引库名}/_doc/1
//    {
//        "name": "Jack",
//            "age": 21
//    }
    //数据库数据导入es
    @Test
    void testAddDocument() throws IOException {
        // 1.根据id查询酒店数据(从mysql中获取一条记录)
        Hotel hotel = hotelService.getById(61083L);
        // 2.转换为文档类型
        HotelDoc hotelDoc = new HotelDoc(hotel);
        // 3.将HotelDoc转json
        String json = JSON.toJSONString(hotelDoc);

        //准备req对象
        IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
        // 2.准备Json文档
        request.source(json, XContentType.JSON);
        //发送请求
        client.index(request, RequestOptions.DEFAULT);
        //简化版
        //   client.index(new IndexRequest("hotel").id(hotelDoc.getId().toString()).source(json, XContentType.JSON), RequestOptions.DEFAULT);
    }

    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.200.130:9200")
        ));
    }

    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }
// 创建一个BulkRequest对象
BulkRequest request = new BulkRequest();

// 添加索引操作																	
IndexRequest indexRequest1 = new IndexRequest("索引库名").id("文档id").source("field1", "value1");
request.add(indexRequest1);

// 添加更新操作
UpdateRequest updateRequest1 = new UpdateRequest("my_index", "2").doc("field2", "value2");
request.add(updateRequest1);

// 添加删除操作
DeleteRequest deleteRequest1 = new DeleteRequest("my_index", "3");
request.add(deleteRequest1);

// 执行批量操作
BulkResponse response = client.bulk(request, RequestOptions.DEFAULT);

到了这里,关于Java修仙传之神奇的ES(基础使用)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • LangChain与大型语言模型(LLMs)应用基础教程:神奇的Agent

      LangChain是大型语言模型(LLM)的应用框架,LangChain可以直接与 OpenAI 的 text-davinci-003、gpt-3.5-turbo 模型以及 Hugging Face 的各种开源语言模如 Google 的 flan-t5等模型集成。通过使用LangChain可以开发出更为强大和高效的LLM的各种应用。 今天我们就来实现一个神奇的功能,如何你是一个不

    2024年02月03日
    浏览(46)
  • ES-1:Java的 ElasticsearchTemplate Or ElasticsearchRepository基础常用查询写法

    目录 安装elasticsearch maven 数据来源: 网易数据 mysql的相关语法 Java代码 = in like between  and is null is not null order by max min avg sum (发现es新语法 stats 直接统计聚合)

    2024年02月15日
    浏览(51)
  • SpringBoot整合ES,使用java操作ES并发请求

    对于java操作整合es有两种方案我先分别介绍然后解释一下最后我的选择为什么 1)、9300:TCP    spring-data-elasticsearch:transport-api.jar;    通过对9300端口建立一个长连接,但是因为springboot 版本不同, transport-api.jar 不同,不能适配 es 版本,并且7.x 已经不建议使用,8 以后就要废

    2023年04月08日
    浏览(45)
  • es使用java来查询文档(基于es7.8)

    注意,索引的字段mapping是如下类型,如果index是FALSE的话,会导致条件查询失败: 先引入pom依赖: 创建User类: 然后在名为user的索引里,插入多条数据,在main方法里进行测试: 然后进行测试:

    2024年02月11日
    浏览(48)
  • 使用java来删除es索引(基于es7.8)

    先引入pom依赖: 然后在main方法里进行测试:

    2024年02月16日
    浏览(40)
  • 使用java来查询es索引(基于es7.8)

    1、先引入pom依赖: 2、然后在main方法里进行测试: 运行一下,打印结果跟在postman里执行出来是一样的: 后面会根据字段进行条件查询,所以在建立映射的时候,需要指定index属性为true。如下图,在postman创建映射:

    2024年02月11日
    浏览(57)
  • ES6基础知识七:你是怎么理解ES6中 Generator的?使用场景?

    一、介绍 Generator 函数是 ES6 提供的一种异步编程解决方案,语法行为与传统函数完全不同 回顾下上文提到的解决异步的手段: 回调函数 promise 那么,上文我们提到promsie已经是一种比较流行的解决异步方案,那么为什么还出现Generator?甚至async/await呢? 该问题我们留在后面再

    2024年02月15日
    浏览(44)
  • ES6基础知识六:你是怎么理解ES6中 Promise的?使用场景?

    一、介绍 Promise,译为承诺,是异步编程的一种解决方案,比传统的解决方案(回调函数)更加合理和更加强大 在以往我们如果处理多层异步操作,我们往往会像下面那样编写我们的代码 阅读上面代码,是不是很难受,上述形成了经典的回调地狱 现在通过Promise的改写上面的

    2024年02月15日
    浏览(49)
  • ES6基础知识八:你是怎么理解ES6中Proxy的?使用场景?

    一、介绍 定义: 用于定义基本操作的自定义行为 本质: 修改的是程序默认形为,就形同于在编程语言层面上做修改,属于元编程(meta programming) 元编程(Metaprogramming,又译超编程,是指某类计算机程序的编写,这类计算机程序编写或者操纵其它程序(或者自身)作为它们的

    2024年02月15日
    浏览(35)
  • Elasticsearch 基础操作与 ES-head 插件的使用

    Elasticsearch 安装请参考 搭建ELK日志管理平台 - - 2 ElasticSearch部署 主节点 :默认配置是1个分片1个副本 主数据分片 : 数据在分片中被分组存储,例如如果分片是3个的话,存入数据 hello 可能被拆分存储在这几个分片之中 副本数据分片 : 对数据分片的拷贝 集群健康值 : 黄色表示

    2023年04月16日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包