【elasticsearch系】1.初识玩转elasticSearch

这篇具有很好参考价值的文章主要介绍了【elasticsearch系】1.初识玩转elasticSearch。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先给大家介绍下我使用的版本是7.17.3这个版本,关于之前6.x的版本还是有些区别的。

elasticSearch

Elasticsearch 是一个分布式文档存储。Elasticsearch 不是将信息存储为列式数据行,而是存储已序列化为 JSON 文档的复杂数据结构。存储文档时,会在1 秒内近乎实时地为其建立索引并完全可搜索。Elasticsearch 使用称为倒排索引的数据结构,支持非常快速的全文搜索。关于具体详细的大家可以查看官方文档来了解下

安装使用

因为elasticSearch是java语言开发的,关于java环境的安装这里就不介绍了,大家可自行搜索解决

为了方便学习和联系,这里我直接使用的是window安装的版本

下载elasticSearch

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

解压后,我们可以看下elasticsearch.bat 启动文件引用调用了elasticsearch-env.bat这个文件。我么可以大概看下elasticsearch-env的文件内容

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 所以我们可以配置下es的系统环境变量

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 直接双击点击elasticsearch.bat文件启动,简直不能太easy

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

如果你的控制台没有什么异常问题的话,可以访问http://localhost:9200 默认端口9200验证下,出现下面的显示就代表启动没有什么问题

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

访问看下我们本地节点监控  http://localhost:9200/_cat/nodes?v

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 客户端kibana安装

Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工作。使用这个工具可以方便我们使用Rest API来操作我们的elasticSearch

这里注意我们最好使用和es相同的版本号

Past Releases of Elastic Stack Software | Elastic

修改对应的配置yml 国际化为zh_CN

i18n.locale: "zh-CN"

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

# Kibana is served by a back end server. This setting specifies the port to use.
server.port: 5601

# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.
# The default is 'localhost', which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "localhost"

# Enables you to specify a path to mount Kibana at if you are running behind a proxy.
# Use the `server.rewriteBasePath` setting to tell Kibana if it should remove the basePath
# from requests it receives, and to prevent a deprecation warning at startup.
# This setting cannot end in a slash.
#server.basePath: ""

# Specifies whether Kibana should rewrite requests that are prefixed with
# `server.basePath` or require that they are rewritten by your reverse proxy.
# This setting was effectively always `false` before Kibana 6.3 and will
# default to `true` starting in Kibana 7.0.
#server.rewriteBasePath: false

# Specifies the public URL at which Kibana is available for end users. If
# `server.basePath` is configured this URL should end with the same basePath.
#server.publicBaseUrl: ""

# The maximum payload size in bytes for incoming server requests.
#server.maxPayload: 1048576

# The Kibana server's name.  This is used for display purposes.
#server.name: "your-hostname"

# The URLs of the Elasticsearch instances to use for all your queries.
elasticsearch.hosts: ["http://localhost:9200"]

# Kibana uses an index in Elasticsearch to store saved searches, visualizations and
# dashboards. Kibana creates a new index if the index doesn't already exist.
#kibana.index: ".kibana"

# The default application to load.
#kibana.defaultAppId: "home"

# If your Elasticsearch is protected with basic authentication, these settings provide
# the username and password that the Kibana server uses to perform maintenance on the Kibana
# index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
# is proxied through the Kibana server.
#elasticsearch.username: "kibana_system"
#elasticsearch.password: "pass"

# Kibana can also authenticate to Elasticsearch via "service account tokens".
# If may use this token instead of a username/password.
# elasticsearch.serviceAccountToken: "my_token"

# Enables SSL and paths to the PEM-format SSL certificate and SSL key files, respectively.
# These settings enable SSL for outgoing requests from the Kibana server to the browser.
#server.ssl.enabled: false
#server.ssl.certificate: /path/to/your/server.crt
#server.ssl.key: /path/to/your/server.key

# Optional settings that provide the paths to the PEM-format SSL certificate and key files.
# These files are used to verify the identity of Kibana to Elasticsearch and are required when
# xpack.security.http.ssl.client_authentication in Elasticsearch is set to required.
#elasticsearch.ssl.certificate: /path/to/your/client.crt
#elasticsearch.ssl.key: /path/to/your/client.key

# Optional setting that enables you to specify a path to the PEM file for the certificate
# authority for your Elasticsearch instance.
#elasticsearch.ssl.certificateAuthorities: [ "/path/to/your/CA.pem" ]

# To disregard the validity of SSL certificates, change this setting's value to 'none'.
#elasticsearch.ssl.verificationMode: full

# Time in milliseconds to wait for Elasticsearch to respond to pings. Defaults to the value of
# the elasticsearch.requestTimeout setting.
#elasticsearch.pingTimeout: 1500

# Time in milliseconds to wait for responses from the back end or Elasticsearch. This value
# must be a positive integer.
#elasticsearch.requestTimeout: 30000

# List of Kibana client-side headers to send to Elasticsearch. To send *no* client-side
# headers, set this value to [] (an empty list).
#elasticsearch.requestHeadersWhitelist: [ authorization ]

# Header names and values that are sent to Elasticsearch. Any custom headers cannot be overwritten
# by client-side headers, regardless of the elasticsearch.requestHeadersWhitelist configuration.
#elasticsearch.customHeaders: {}

# Time in milliseconds for Elasticsearch to wait for responses from shards. Set to 0 to disable.
#elasticsearch.shardTimeout: 30000

# Logs queries sent to Elasticsearch. Requires logging.verbose set to true.
#elasticsearch.logQueries: false

# Specifies the path where Kibana creates the process ID file.
#pid.file: /run/kibana/kibana.pid

# Enables you to specify a file where Kibana stores log output.
#logging.dest: stdout

# Set the value of this setting to true to suppress all logging output.
#logging.silent: false

# Set the value of this setting to true to suppress all logging output other than error messages.
#logging.quiet: false

# Set the value of this setting to true to log all events, including system usage information
# and all requests.
#logging.verbose: false

# Set the interval in milliseconds to sample system and process performance
# metrics. Minimum is 100ms. Defaults to 5000.
#ops.interval: 5000

# Specifies locale to be used for all localizable strings, dates and number formats.
# Supported languages are the following: English - en , by default , Chinese - zh-CN .
i18n.locale: "zh-CN"

双击启动kibana.bat文件即可

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 浏览器打开访问 http://localhost:5601/    

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 找到主页面菜单-》开发者工具  我们就可以使用练习操作es的api了

 【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

安装es分词插件

在线安装analysis-icu分词插件

# 查看已安装插件 
.\elasticsearch-plugin.bat list

# 安装插件
.\elasticsearch-plugin.bat install analysis-icu

# 删除插件
.\elasticsearch-plugin.bat remove analysis-icu

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

 离线安装ik中文分词插件

本地下载elasticsearch-analysis-ik-7.17.3.zip插件,解压,然后手动上传到elasticsearch的plugins目录,然后重启ES实例就可以了。

操作es索引脚本

以下就是练习操作es索引的一些请求,大家可以直接在kibana 开发者工具操作执行练习

GET _search
{
  "query": {
    "match_all": {}
  }
}

#查看索引列表
GET /_cat/indices

#默认分词器
POST _analyze
{
  "analyzer": "standard",
  "text":"中华人民共和国"
}

# icu分词器 粗粒度的拆
POST _analyze
{
  "analyzer": "icu_analyzer",
  "text":"中华人民共和国"
}

# ik分词器 粗粒度的拆
POST _analyze
{
  "analyzer": "ik_smart",
  "text":"中华人民共和国"
}

# ik分词器 细粒度
POST _analyze
{
  "analyzer": "ik_max_word",
  "text":"中华人民共和国"
}


#创建索引
PUT  /user

#删除索引
DELETE /user

# 字段属性type为keyword代表不分词
GET /user



# 当我们添加数据的时候,默认会动态映射帮我们创建字段的类型
# 但是我们还是需要自己做静态映射来创建对应字段的类型

PUT  /user
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
       "id":{
        "type": "long"
      },
      "name":{
        "type": "keyword"
      },
      "age":{
        "type": "long"
      },
      "address":{
        "type": "text"
      }
    }
  }
}



# 创建/修改一条数据
# 这种方式做修改的话,注意下是全量做的修改,如果使用下面这种方式,直
# 会把我们的age字段干掉
# PUT /user/_doc/1
# {
#  "name":"john2",
#  "address":"陕西西安"
# }
#
PUT /user/_doc/1
{
  "id":1,
  "name":"john",
  "age":32,
  "address":"陕西西安"
}


PUT /user/_doc/2
{
  "id":2,
  "name":"mark",
  "age":18,
  "address":"陕西渭南"
}

GET /user/_doc/2

#查询数据
GET /user/_search
{
  "query":{
    "match": {
      "address": "西"
    }
  }
}


#term不分词查询
GET /user/_search
{
  "query": {
    "term": {
      "name.keyword": "john"
    }
  }
}


#重建索引 比如我现在想把name类型设置为text,address字段使用ik分词器
# 步骤:先创建一个新的索引user2
#       _reindx给新建的索引起个别名为原来的索引名称user
#       删除旧的索引
#       _alias给新的索引起别名为user  /user2/_alias/user

## 下面是重建索引的详细步骤 开始 ##
PUT /user2
{
  "mappings": {
    "properties": {
       "id":{
        "type": "long"
      },
      "name":{
        "type": "text"
      },
      "age":{
        "type": "long"
      },
      "address":{
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

POST  _reindex
{
  "source": {
    "index": "user"
  },
  "dest": {
    "index": "user2"
  }
}

#删除索引
DELETE /user

#给user2索引起别名为user
PUT /user2/_alias/user

#查看user索引
GET /user 


#查询数据
GET /user/_search
{
  "query":{
    "match": {
      "address": "西安"
    }
  }
}

## 重建索引的详细步骤 结束 ##


# 修改索引默认的分词器

DELETE /user2
PUT /user
{
  "settings": {
    "index":{
      "analysis.analyzer.default.type":"ik_max_word"
    }
  }
}
GET /user


#URI query查询(了解即可)
GET /user/_doc/_search?q=age:>30


#DSL query查询(重点平常工作中)
#match匹配查询,会对查询文本分词后匹配

GET /user/_search
{
  "query":{
    "match": {
      "address": "陕西"
    }
  }
}

#term 词项查询,属于精确查询,不会对查询文本进行分词
GET /user/_search
{
  "query": {
    "term": {
      "address": "陕西西安"
    }
  }
}

#查看ik分词器对于"陕西西安"这个文本是怎么分词的
POST _analyze
{
  "analyzer": "ik_max_word",
  "text":"陕西西安"
}


#使用脚本语句来更新
GET /user/_doc/2
POST  /user/_update_by_query
{
  "query": {
    "match": {
      "_id": "2"
    }
  },
  "script": {
    "source": "ctx._source.age=28"
  }
}


# 使用_update部分更新
# _update不会删除原来的文档,而是实现真正的数据更新
POST  /user/_update/2
{
  "doc":{
    "age":30
  }
}


# 批量操作可以减少网络连接所产生的开销,提升性能
# 批量创建文档create

POST _bulk
{"create":{"_index":"article","_type":"_doc","_id":1}}
{"id":1,"title":"策略设计模式","content":"策略设计模式content","tags":["设计模式","代码设计"],"create_time":1554015482530}
{"create":{"_index":"article","_type":"_doc","_id":2}}
{"id":1,"title":"工厂设计模式","content":"工厂设计模式content","tags":["设计模式","代码设计"],"create_time":1554015482530}



# 批量普通创建或全量替换索引index
# 如果原文档不存在,则是创建
# 如果原文档存在,则是替换(全量修改原文档)
POST _bulk
{"index":{"_index":"article","_type":"_doc","_id":1}}
{"id":1,"title":"策略设计模式","content":"策略设计模式解决if-else繁琐问题","tags":["设计模式","代码设计"],"create_time":1554015482530}
{"index":{"_index":"article","_type":"_doc","_id":2}}
{"id":1,"title":"工厂设计模式","content":"工厂设计模式封装对象创建使用","tags":["设计模式","代码设计"],"create_time":1554015482530}


# 批量修改update不会全量覆盖
POST _bulk
{"update":{"_index":"article", "_type":"_doc", "_id":1}}
{"doc":{"title":"策略模式"}}
{"update":{"_index":"article", "_type":"_doc", "_id":2}}
{"doc":{"create_time":1554018421008}}


GET /article/_search


# 批量删除
POST _bulk
{"delete":{"_index":"article", "_type":"_doc", "_id":1}}
{"delete":{"_index":"article", "_type":"_doc", "_id":2}}
GET /article/_search



【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

springboot集成elasticSearch

版本选择

这里是springboot官方文档的推荐版本 ,看下图需要我们的springboot版本使用2.7.x版本即可

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

pom文件引入依赖

 <dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

application.yml配置

spring:
  elasticsearch:
    uris: http://localhost:9200
    connection-timeout: 3s

创建索引对象实体

@Data
@AllArgsConstructor
@Document(indexName = "user")
public class EsUserModel {
    @Id
    private Long id;
    @Field(type= FieldType.Keyword)
    private String name;
    private int age;
    @Field(type= FieldType.Text,analyzer="ik_max_word")
    private String address;

}

操作测试代码

package com.es.example;

import com.es.example.model.EsUserModel;
import lombok.extern.slf4j.Slf4j;
import net.minidev.json.JSONValue;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.sort.SortBuilders;
import org.elasticsearch.search.sort.SortOrder;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.IndexOperations;
import org.springframework.data.elasticsearch.core.SearchHit;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.mapping.IndexCoordinates;
import org.springframework.data.elasticsearch.core.query.IndexQuery;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;

import java.util.ArrayList;
import java.util.List;


@SpringBootTest
@Slf4j
public class ElasticsearchRestTemplateTest {

    @Autowired
    ElasticsearchRestTemplate elasticsearchRestTemplate;

    private final String index_name = "user";


    /**
     * 删除索引
     */
    @Test
    public void testDeleteIndex() {
        //删除索引
        IndexOperations indexOperations = elasticsearchRestTemplate.indexOps(IndexCoordinates.of(index_name));
        indexOperations.delete();
    }

    /**
     * 创建索引
     */
    @Test
    public void testCreateIndex() {
        //创建索引
        IndexOperations indexOperations = elasticsearchRestTemplate.indexOps(IndexCoordinates.of(index_name));
        if (indexOperations.exists()) {
            log.info("索引已经存在");
        } else {
            //创建索引
            indexOperations.create();
        }
    }

    /**
     * 批量添加文档数据
     */
    @Test
    public void testInsertBatch() {
        List<EsUserModel> esUserModels = new ArrayList<>();
        esUserModels.add(new EsUserModel(1L, "张三", 16, "陕西渭南"));
        esUserModels.add(new EsUserModel(2L, "李四", 18, "陕西西安"));
        esUserModels.add(new EsUserModel(3L, "王五", 19, "广州天河"));

        List<IndexQuery> queries = new ArrayList<>();
        for (EsUserModel esUserModel : esUserModels) {
            IndexQuery indexQuery = new IndexQuery();
            indexQuery.setId(esUserModel.getId().toString());
            String json = JSONValue.toJSONString(esUserModel);
            indexQuery.setSource(json);
            queries.add(indexQuery);
        }
        //bulk批量插入
        elasticsearchRestTemplate.bulkIndex(queries, EsUserModel.class);

    }

    @Test
    public void testQueryDocument() {
        NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
        //查询
        builder.withQuery(QueryBuilders.matchQuery("address", "陕西"));
        // 设置分页信息
        builder.withPageable(PageRequest.of(0, 5));
        // 设置排序
        builder.withSort(SortBuilders.fieldSort("age").order(SortOrder.DESC));
        SearchHits<EsUserModel> search = elasticsearchRestTemplate.search(builder.build(), EsUserModel.class);
        List<SearchHit<EsUserModel>> searchHits = search.getSearchHits();
        for (SearchHit hit : searchHits) {
            log.info("返回结果:" + hit.toString());
        }
    }


}

控制台输出

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎

我们使用kibana开发者工具请求验证是否和控制台输出一样

【elasticsearch系】1.初识玩转elasticSearch,中间件,elasticsearch,大数据,搜索引擎文章来源地址https://www.toymoban.com/news/detail-616933.html

到了这里,关于【elasticsearch系】1.初识玩转elasticSearch的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【中间件】ElasticSearch:ES的基本概念与基本使用

    Index索引、Type类型,类似于数据库中的数据库和表,我们说,ES的数据存储在某个索引的某个类型中(某个数据库的某个表中),Document文档(JSON格式),相当于是数据库中内容的存储方式 MySQL:数据库、表、数据 ElasticSearch:索引、类型、文档 ElasticSearch的检索功能基于其倒

    2024年02月04日
    浏览(45)
  • 在CSDN学Golang分布式中间件(ElasticSearch)

    倒排索引是一种用于快速查找文本中特定单词或短语的数据结构。它将文本中的每个单词或短语与包含该单词或短语的文档列表相关联。这使得可以轻松地查找包含给定单词或短语的所有文档。 在 Go 中,可以使用 map 和 slice 来实现倒排索引。具体来说,可以使用一个 map 将每

    2024年02月15日
    浏览(40)
  • 使用Spring Boot集成中间件:Elasticsearch基础->提高篇

    Elasticsearch是一个开源的分布式搜索和分析引擎,广泛用于构建实时的搜索和分析应用。在本篇博客中,我们将深入讲解如何使用Spring Boot集成Elasticsearch,实现数据的索引、搜索和分析。 在开始之前,确保已经完成以下准备工作: 安装并启动Elasticsearch集群 创建Elasticsearch索引

    2024年01月19日
    浏览(41)
  • spring boot 项目中搭建 ElasticSearch 中间件 一 postman 操作 es

    作者: 逍遥Sean 简介:一个主修Java的Web网站游戏服务器后端开发者 主页:https://blog.csdn.net/Ureliable 觉得博主文章不错的话,可以三连支持一下~ 如有需要我的支持,请私信或评论留言! 本文是ElasticSearch 的入门文章,包含ElasticSearch 的环境准备和基础操作(使用postman) Elas

    2024年02月11日
    浏览(34)
  • SpringBoot--中间件技术-3:整合mongodb,整合ElasticSearch,附案例含代码(简单易懂)

    实现步骤: pom文件导坐标 yaml配置文件配置mongodb: 随便建一个pojo 测试: 装配MongoTemplate模板类,调用方法 整合MongoDB总结: 导坐标 写配置文件 核心类MongoTemplate调用 前提准备:数据库+ES 数据库建表语句: 实现步骤: pom文件到坐标 yaml配置文件 创建实体类: 对应数据库表

    2024年02月04日
    浏览(53)
  • spring boot 项目中搭建 ElasticSearch 中间件 一 spring data 操作 es

    作者: 逍遥Sean 简介:一个主修Java的Web网站游戏服务器后端开发者 主页:https://blog.csdn.net/Ureliable 觉得博主文章不错的话,可以三连支持一下~ 如有需要我的支持,请私信或评论留言! 本文是进行ElasticSearch 的环境准备和基础操作(使用postman),并且已经能够使用java api操作

    2024年02月10日
    浏览(42)
  • 消息中间件 —— 初识Kafka

    1.1.1、为什么要有消息队列? 1.1.2、消息队列 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。 队列 Queue 一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素(FIFO)。 入队、出

    2024年02月13日
    浏览(51)
  • 初识express/路由/中间件

                                     ​​​​​​​        

    2024年02月11日
    浏览(62)
  • 十万字图文详解mysql、redis、kafka、elasticsearch(ES)多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案,如何构建数据仓库、数据湖、数仓一体化?

    数据库大数据量、高并发、高可用解决方案,十万字图文详解mysql、redis、kafka、elasticsearch(ES)多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案,如何构建数据仓库、数据湖、数仓一体化?Delta Lake、Apache Hudi和Apache Iceberg数仓一体化技术架构

    2024年02月07日
    浏览(51)
  • 【elasticsearch系】1.初识玩转elasticSearch

    首先给大家介绍下我使用的版本是7.17.3这个版本,关于之前6.x的版本还是有些区别的。 elasticSearch Elasticsearch 是一个分布式文档存储。Elasticsearch 不是将信息存储为列式数据行,而是存储已序列化为 JSON 文档的复杂数据结构。存储文档时,会在1 秒内近乎实时地为其建立索引并

    2024年02月15日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包