Elasticsearch从入门到精通

这篇具有很好参考价值的文章主要介绍了Elasticsearch从入门到精通。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

目录

🧂1.简单介绍

🥓2.安装与下载

🌭3.安装启动es

🍿4.安装启动kibana 

🥞5.初步检索 

🧈6.进阶检索

🫓7.Elasticsearch整合 


1.简单介绍🚗🚗🚗

Elaticsearch,简称为ES, ES是一个开源的高扩展的分布式全文搜索引擎,是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。

官方地址:来这哈

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

2.安装与下载🚗🚗🚗

  • 1.docker pull elasticsearch:7.4.2

在docker中使用命令拉取镜像,安装到docker

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

  • 2.docker pull kibana:7.4.2

安装es可视化工具

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

安装需要时间,莫着急哦~ 

3.安装启动es🚗🚗🚗

  •  1.创建挂载目录
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticssearch/data
  • 2.设置允许远程访问 
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml
  • 3.给文件赋权限 

给elasticsearch下全部文件赋可读可写可执行的权限

chomd -R 777 /mydata/elasticsearch/
  • 4..启动elasticsearch 
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx128m" -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/elasticsearch.yml -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.4.2
  • --name : 容器名字
  • -p: 暴露端口、9200:访问端口,9300:做集群时内部暴露端口
  • -e "discovery.type=single-node" : 单机启动
  • -e ES_JAVA_OPTS="-Xms64m -Xmx128m" : 初始64m,最大128m
  • -v: 将容器中的文件挂在到自己的机器上
  • -d: 启动镜像的名称 

 5.访问

端口

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

4.安装启动kibana 🚗🚗🚗

  • 1.查看docker对外暴露的ip
docker inspect elasticsearch | grep IPAddress
  • 2.启动kibana 
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://刚刚查出来的docker暴露的ip:9200 -p 5610:5610 -d kibana:7.4.2

ELASTICSEARCH_HOSTS= “不是自己的Linux上的ip地址,而是步骤一查出来docker地址”

  • 3.访问

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

5.初步检索 🚗🚗🚗

5.1_cat

使用postman发送请求~,使用自己虚拟机的IP地址!!!全部为GET请求

  • 1.查看所有节点信息  /_cat/nodes
http://192.168.20.130:9200/_cat/nodes
  • 2.查看es健康状况  /_cat/health
http://192.168.20.130:9200/_cat/health
  • 3.查看主页节点  /_cat/master
http://192.168.20.130:9200/_cat/master
  • 4.查看所有索引   /_cat/indices
http://192.168.20.130:9200/_cat/indices

5.2索引一个文档(保存)

保存一个数据,保存在哪个索引的那个类型下指定用哪个唯一标识 

  • 1.使用命令保存一条记录(put/post请求、发送json)
http://192.168.20.130:9200/customer/external/1

注:

  • 1.同一个请求,发送多次,就变为修改~
  • 2.POST新增。如果不指定id,会自动生成id。指定id 就会修改这个数据,并新增版本号
  • 3.PUT可以新增可以修改。PUT必须指定id;由于PUT需要指定id,我们一般都用来做修操作,不指定id会报错。

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

5.3查询文档 

  • 1.发送get请求查询  customer/external/
http://192.168.20.130:9200/customer/external/1

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

5.4更新一个文档 

发送PSOT请求,指定哪个索引下,哪个类型下,id的是多少

  • 1.post携带update

会对比原来的数据,如果更新前后一致,则不做改变。

http://192.168.20.130:9200/customer/external/1/_update

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

  • 2.post不携带update 

不会对比原来的数据,直接叠加版本

http://192.168.20.130:9200/customer/external/1

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

  • 3.put 

和post不懈怠update一样,put可以新增也可以修改,但必须指定id

http://192.168.20.130:9200/customer/external/1

5.5删除

发送delete请求,删除那个索引、那个类型下的id

  • 1.删除某一条数据
http://192.168.20.130:9200/customer/external/1
  • 2.删除整个索引 
http://192.168.20.130:9200/customer

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

5.6bulk批量api 

  • 1.使用kibana批量发送

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

  • 2.es测试数据 

测试数据放到资源那里了,自行下载

6.进阶检索🚗🚗🚗

6.1基本检索方式

  •  1.第一种检索:检索条件直接写在路径后面
GET bank/_search?q=*&sort=account_number:asc
  • 2.第二种检索:使用请求体

使用Query DSL,提供一个可执行的Json风格的DSL

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "balance": {
        "order": "desc"
      }
    }
  ],
  "from": 0,
  "size": 5,
  "_source": [
    "balance",
    "firstname"
  ]
}

query:代表查询条件 

sort:代表排序条件

from: 从第几条数据开始查

size:每次查出多少条数据

_source:指定命中的字段

 6.2基本语法

  • 1.match【模糊查询】

模糊检索

GET bank/_search
{
  "query": {
    "match": {
      "address": "kings"
    }
  }
}
  • 2.match_phrase【字段查询】

指定上相应的字段和对应的值,进行精确查询

GET bank/_search
{
  "query": {
    "match_phrase": {
      "address": "kings"
    }
  }
}
  • 3.multi_match【多字段查询】

多字段匹配,fileds里的字段,只要有一个匹配query的值即可,而且还是分词查

GET bank/_search
{
  "query": {
    "multi_match": {
      "query": "mill",
      "fields": ["address","city"]
    }
  }
}
  • 4.bool 【复合查询】

 must: 必须匹配

must_not: 不能匹配

should:匹不匹配都可以

GET bank/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "gender": "M"
          }
        },
        {
          "match": {
            "address": "mill"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "age": "28"
          }
        }
      ],
      "should": [
        {"match": {
          "lastname": "wallace"
        }}
      ]
    }
  }
}
  • 4.filter【结果过滤】

不计算相关性得分

GET bank/_search
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "age": {
            "gte": 18,
            "lte": 30
          }
        }
      }
    }
  }
}
  • 5.term

term是代表完全匹配,也就是精确查询,搜索前不会再对搜索词进行分词拆解。

GET bank/_search
{
  "query": {
    "term": {
        "age":28
    }
  }
}
  • 6.aggregations【执行聚合】
  • 聚合提供了从数据中分组和提取数据的能力。
  • 最简单的聚合方法大致等于SQLGROUPBY和SQL聚合函数。
  • 在Elasticsearch中,您有执行搜索返回hits (命中结果) ,并且同时返回聚合结果,把一个响应中的所有hits (命中结果)分隔开的能力。这是非常强大且有效的,您可以执行查询和多个聚合,并且在一次使用中得到各自的(任何一个的)返回结果,使用一次简洁和简化的API来避免网络往返。
GET bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "aggs": {
    "ageAgg": {
      "terms": {
        "field": "age",
        "size": 10
      }
    },
    "ageAvg":{
      "avg": {
        "field": "age"
      }
    },
    "balanceAvg":{
      "sum": {
        "field": "balance"
      }
    }
  },
  "size": 0
}

aggs:使用聚合函数,名称要见名知意 

avg:表示平均值

sum:表示求和

查出所有年龄分布,并且这些年龄段中M的平均薪资和F的平均薪资以及这个年龄段总体平均薪资

GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "ageAgg": {
      "terms": {
        "field": "age",
        "size": 100
      },
      "aggs": {
        "genderAgg": {
          "terms": {
            "field": "gender.keyword",
            "size": 10
          },"aggs": {
            "balanceAvg": {
              "avg": {
                "field": "balance"
              }
            }
          }
        },
        "ageBalance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

子聚合,在一个聚合函数名称下,在使用aggs聚合 

6.3Mapping

  • 1.创建映射

在创建索引时,规定字段的类型

PUT /my_index
{
  "mappings": {
    "properties": {
      "age": {"type": "integer"},
      "email": {"type": "keyword"},
      "name": {"type": "text"}
    }
  }
}
  • 2.添加新的字段映射 
PUT /my_index/_mapping
{
  "properties":{
    "employee-id":{
      "type": "keyword",
      "index": false
    }
  }
}
  • 3.更新映射

对于已经存在的映射字段,我们不能更新。更新必须创建新的索引进行数据迁移

  • 4.数据迁移

先创建出新的正确映射,然后再迁移

POST _reindex
{
  "source": {
    "index": "bank",
    "type": "account"
  },
  "dest": {
    "index": "newbank"
  }
}

source:原数据

dest:要迁移的数据

index:要迁移数据的名称

type:迁移数据的类型

6.4分词

  • 一个tokenizer (分词器)接收一个字符流,将之分割为独立的tokens (词元,通常是独立的单词),然后输出 tokens 流。
  • 例如, whitespace tokenizer 遇到空白字符时分割文本。它会将文本"Quick brown fox!" 分割为[Ouick, brown, fox]
  • 1.安装ik分词器

官网:ik分词器

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

解压到elasticsearch的plugins下~ ,记得重启elasticsearch!!

  • 2.测试分词效果 

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

  • 3.自定义分词 

3.1使用nginx配置分词,再nginx的html下创建文件夹es,并配置location

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

 3.2配置分词器地址

在ik分词器的配置文件中,添加分词器地址

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

重启elastic search~ 

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana

7.Elasticsearch整合 🚗🚗🚗

7.1创建服务

在父工程下创建新模块作为检索服务,并导入依赖

       <!--导入es的rest-high-level-client-->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.2</version>
        </dependency>

但是如果<elasticsearch.version>7.4.2</elasticsearch.version>不生效,jar包冲突,版本不匹配,将版本不匹配的移除,重新引入!!! 

        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.2</version>
            <exclusions>
                <exclusion>
                    <groupId>org.elasticsearch</groupId>
                    <artifactId>elasticsearch</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.elasticsearch.client</groupId>
                    <artifactId>elasticsearch-rest-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-client</artifactId>
            <version>7.4.2</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.4.2</version>
        </dependency>

7.2写配置

编写配置类,被容器中注入RestHighLevelClient,并写入预检请求

@Configuration
public class ElasticSearchConfig {

    public static final RequestOptions COMMON_OPTIONS;

    static {
        RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
        COMMON_OPTIONS = builder.build();
    }

    @Bean
    public RestHighLevelClient esRestClient() {

        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("192.168.20.130", 9200, "http")
                )
        );
        return client;
    }
}

7.3测试

  • 1.测试保存请求,也可修改
@Test
    public void indexData() throws IOException {
        IndexRequest indexRequest = new IndexRequest("users");
        indexRequest.id("1");
        //推荐方式,将对象转换为json
        User user = new User();
        user.setUserName("会敲代码的小张");
        user.setAge(18);
        user.setGender("男");
        String jsonString = JSON.toJSONString(user);
        indexRequest.source(jsonString, XContentType.JSON);
        //执行保存
        IndexResponse index = restHighLevelClient.index(indexRequest, ElasticSearchConfig.COMMON_OPTIONS);

        //提取有用的数据
        System.out.println(index);

    }
    @Data
    class User{
        private String userName;
        private String gender;
        private Integer age;
    }
  • 2.复查检索
@Test
    public void select() throws IOException {
        //1.创建检索请求
        SearchRequest searchRequest = new SearchRequest();
        //2.指定索引
        searchRequest.indices("bank");
        //3.指定DSL检索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //3.1构造query条件
        sourceBuilder.query(QueryBuilders.matchQuery("address", "mill"));
        //3.2构造聚合条件
        //3.2.1-按照你啊年龄聚合
        TermsAggregationBuilder ageAgg = AggregationBuilders.terms("ageAgg").field("age").size(10);
        sourceBuilder.aggregation(ageAgg);
        //3.2.2-计算平均薪资
        AvgAggregationBuilder balanceAvg = AggregationBuilders.avg("balanceAvg").field("balance");
        sourceBuilder.aggregation(balanceAvg);

        System.out.println("检索条件" + sourceBuilder.toString());

        searchRequest.source(sourceBuilder);

        //4.执行检索
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, ElasticSearchConfig.COMMON_OPTIONS);

        //5.分析结果
        System.out.println("查询结果" + searchResponse.toString());
        //5.1获取查到的所有数据
        SearchHits hits = searchResponse.getHits();

        //5.2查询真正的命中记录
        SearchHit[] searchHits = hits.getHits();
        for (SearchHit hit : searchHits) {
            String sourceAsString = hit.getSourceAsString();
            Account account = JSON.parseObject(sourceAsString, Account.class);
            System.out.println("值:" + account);
        }
        //5.3获取分析信息
        Aggregations aggregations = searchResponse.getAggregations();
        Terms ageAgg1 = aggregations.get("ageAgg");
        for (Terms.Bucket bucket : ageAgg1.getBuckets()) {
            String keyAsString = bucket.getKeyAsString();
            System.out.println("年龄:"+keyAsString+"===>"+bucket.getDocCount());
        }
        Avg balanceAvg1 = aggregations.get("balanceAvg");
        System.out.println("平均薪资:"+balanceAvg1.getValue());


    }

Elasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibanaElasticsearch从入门到精通,elasticSearch【全面概括】,elasticsearch,大数据,搜索引擎,java,spring cloud,全文检索,kibana文章来源地址https://www.toymoban.com/news/detail-829620.html

到了这里,关于Elasticsearch从入门到精通的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch 7.8.0从入门到精通

    官网:Elasticsearch 7.8.0 | Elastic 大家下载所需要的安装包即可。然后解压缩: Elasticsearch是通过java编写的,所以自带jdk。多好,下载Elasticsearch赠送jdk  0.0,不过一般我们用自己的jdk。 要启动Elasticsearch服务,就直接进入bin目录,并打开elasticsearch.bat文件。 这样就启动好了。 注意

    2024年02月02日
    浏览(75)
  • Elasticsearch从入门到精通-03基本语法学习

    👏作者简介:大家好,我是程序员行走的鱼 📖 本篇主要介绍和大家一块学习一下ES基本语法,主要包括索引管理、文档管理、映射管理等内容 ES对数据进行增、删、改、查是以Restful方式对服务端发送请求的,所以在我们学习基本语法之前先了解一下Restful是什么? REST 指的是一

    2024年03月15日
    浏览(48)
  • Elasticsearch从入门到精通-05ES匹配查询

    👏作者简介:大家好,我是程序员行走的鱼 📖 本篇主要介绍和大家一块学习一下ES各种场景下的匹配查询,有助于我们在项目中进行综合使用 创建索引并指定ik分词器: 添加数据: 需要搜索的document中的remark字段包含java和developer词组 上述语法中,如果将operator的值改为or。则与

    2024年03月27日
    浏览(88)
  • Java ElasticSearch-Linux面试题,快速从入门到精通

    先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7 深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年最新Linux运维全套学习资料》,

    2024年04月25日
    浏览(37)
  • 精通ES=ElasticSearch

    Elasticsearch 是一个分布式、高扩展、高实时的搜索与 数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平 伸缩性,能使数据在 生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic

    2024年02月01日
    浏览(31)
  • Elasticsearch 的节点、集群、分片和副本 全面解析

    节点是 Elasticsearch 实例的运行实例,即一个独立的 Elasticsearch 服务进程。每个节点都是一个独立的工作单元,负责存储数据、参与数据处理(如索引、搜索、聚合等)以及参与集群的协调工作。节点可以在物理或虚拟机上单独部署,也可以在同一台机器上运行多个节点(但需

    2024年04月27日
    浏览(39)
  • Elasticsearch 中的“近实时”(Near Real-time)全面解析

    Elasticsearch(ES)作为一款流行的分布式搜索引擎,以其近实时(Near Real-Time, NRT)特性著称。这种特性使得ES能够在数据写入后极短的时间内(通常在毫秒至秒级别)使其可被搜索到,虽然不是绝对意义上的实时,但对于大多数应用而言已经足够接近实时,从而满足了对快速响

    2024年04月25日
    浏览(35)
  • SpringBoot3整合Elasticsearch8.x之全面保姆级教程

    安装配置 ES : https://blog.csdn.net/qq_50864152/article/details/136724528 安装配置 Kibana : https://blog.csdn.net/qq_50864152/article/details/136727707 新建项目:新建名为 web 的 SpringBoot3 项目 公共配置 介绍:一个开源的高扩展的分布式全文检索引擎,可以近乎实时的存储 和检索数据 依赖: web 模块

    2024年04月13日
    浏览(53)
  • 【ElasticSearch01】ElasticSearch入门

    结构化数据 二维表等,保存到关系型数据库中例如mysql 非结构化数据 图像、视频、工作日志等,保存到Nosql数据库中,比如redis、mongodb中 半结构化数据 html、xml等保存到Nosql数据库中,比如redis、mongodb中 The Elastic Stack, 包括 Elasticsearch、 Kibana、 Beats 和 Logstash(也称为 ELK Stac

    2024年02月05日
    浏览(44)
  • ElasticSearch笔记02-ElasticSearch入门

    ElasticSearch的官网,视频教程里用的Version是7.8.0,所以,我们也是用7.8.0版本的ElasticSearch。 下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch,然后搜索7.8.0版本即可。 按照视频里讲的,下载了Windows版本的ElasticSearch,当然,生产环境肯定是Linux版本的。 Windows版本的

    2024年02月09日
    浏览(62)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包