ElasticSearch配置及Kibana可视化配置

这篇具有很好参考价值的文章主要介绍了ElasticSearch配置及Kibana可视化配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

什么是ElasticSearch

        es是一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析、系统监控,es易于扩展,可以轻松扩展到上百台服务器,处理PB(1PB=1024TB 1TB= 1024GB)级别的数据,es自身携带分布式协调管理功能,但仅支持JSON文件格式

        Es理论:

                1.索引:

                        在Es中一个索引对应一组相关文档的存储单元,可以被看作是一种类似于数据库中的表结构,用于存储相类似的文档,每个文档都属于一个索引,索引中的文档用于被搜索和分析。

                2.索引分片:

                       索引分片是将一个完整的索引分成多个的过程,每个分片本身是一个独立的索引,拥有自己的设置、映射、文档。Es通过将索引划分为多个分片来允许大规模数据存储,并且能够水平扩张,每个分片可以分布在集群的不同节点上,默认情况下每个索引包含五个主分片。

                3.索引副本:

                        索引副本是每个分片的一个复制品用于提供冗余和故障的回复副本分布在不同的节点上从而增加了系统的可靠性和容错能力。

ElasticSearch核心概念

        1.节点

                节点是集群中的单个服务器,用于存储数据并参与集群的索引和搜索功能。每个节点都有自己的名称和唯一标识符。

        2.集群

                集群是由一个或多个节点组成的一组服务器,它们共同存储项目的整个数据,集群提供可高可用性和横向扩展性。

        3.分片和复制

                分片是将索引中的数据分割成多个部分,用于提高性能和扩展性每个分片可以被存储在集群中的一个或多个节点上。

                复制是为了数据的高可用性和容错性,每个分片都会有一个或多个副本分片,这些分片会被存储在不同的节点上。

        4.索引

                索引是用于存储数据的地方类似于关系型数据库中的数据可以,它是一种用于存储相似性质的文档的数据结构。

        5.类型

                类型在ES6.0之前用于组织索引内部文档的一种方式。在ES7.0之后已经被废弃,推荐使用单一索引引用字段代替。

        6.文档

                文档是ES中的基本数据单元,类似于关系型数据库中的行,每个文档都是一个JSON对象,它们被存储在索引中并可以被搜索。

        7.字段

                字段是ES中文档的组成部分,类似于关系型数据库中的列,每个字段都有自己的数据类型(文本型、数值型等),并且包含特定的数据。

        8.映射

                映射定义了索引中的,每个字段的数据类型和属性,它相当于关系型数据库中的模式,告诉ES如何处理索引的每个字段。

创建索引

PUT /baidu
{
  "settings": {
    "number_of_shards": 2,//主分片
    "number_of_replicas": 2//副分片
  },
  "mappings": {
    "properties": {
      "title":{
        "type": "text"
      }
    }
  }
}

添加文档

POST /my_es/_doc
{
  "title":"震惊,某男子竟于小猪干这件事。。。。",
  "content":"男子天天给小猪吃昂贵的水果,小猪更可爱了",
  "author":"王五",
  "time":"2023-12-18T11:44:20"
}

查询所有

GET /my_es/_search

语法规则

        _doc:用于早期的ES版本中同一个索引中单独集合映射类型。从8.x版本开始已全面废弃。

        _index:创建新索引、是创建一个命名空间将相关文档聚合在一起

        _create:创建新索引、是创建一个新的文档并将其添加到指定索引中

        _update:用于更新文档中的一部分类容

        _delete:删除文档

条件查询

GET /my_es/_search
{
  "query": {
    "match": {
      "title": "猪" //title带有猪字的都查出来
    }
  }
}

        返回结果

{
  "took" : 1,//请求耗时
  "timed_out" : false,//是否超时
  "_shards" : {//分片信息(包含了成功的分片数量和失败的分片数量)
    "total" : 2,//总分片数(总命中数)
    "successful" : 2,//搜索成功的分片数
    "skipped" : 0,//没有搜索或跳过的分片数
    "failed" : 0//搜索失败的分片数
  },
  "hits" : {//搜索结果集
    "total" : {//返回多少数据
      "value" : 1,//一共一条数据
      "relation" : "eq"//过滤语法
    },
    "max_score" : 0.8630463,//最高匹配得分
    "hits" : [
      {
        "_index" : "taobao_goods",//索引名
        "_type" : "_doc",//文档类型(8.X已弃用)
        "_id" : "98PrgIwBM5jPvpt7_k_k",//唯一标识符
        "_score" : 0.8630463,//匹配度得分
        "_source" : {//实际内容
          "id" : "1",
          "name" : "康师傅酸菜牛肉",
          "description" : "酸酸甜甜",
          "price" : "5",
          "stock" : "100"
        }
      }
    ]
  }
}

多条件查询

GET /taobao_goods/_search
{
  "query": {
    "bool": {//多条件查询度一种方式
      "must": [//必须满足一下条件相当于sql中的and//查询语气
        {
          "match": {
            "name": "康师傅"
          }
        },
        {
          "match": {
            "description": "酸酸"
          }
        }
      ]
    }
  }
}

        1.must镜像:必须都匹配相当于逻辑的and

        2.must_not:必须都不匹配相当于逻辑中的not

        3.should:表示条件可以匹配,但不是必须,相当于逻辑上的or

        4.filter:表示条件必须匹配常用语过滤操作

更新索引

        _doc:覆盖方式完成更新(8.X版本之后移除)

POST /taobao_goods/_doc/-MPsgIwBM5jPvpt7k0-P //文档的_id
{
  "id": "2",
  "name": "统一红烧牛肉面",
  "description": "好吃不上火",
  "price": "5",
  "stock": "70"
}//这种写法会重写原有数据结构(慎用)

         _update:非覆盖方式完成更新,只有修改功能

POST /taobao_goods/_update/-MPsgIwBM5jPvpt7k0-P
{
  "doc": {
    "price": "5.5"
  }
}//只会修改对应字段

//如果没有这个字段会直接添加这个字段

删除文档

DELETE /taobao_goods/_doc/98PrgIwBM5jPvpt7_k_k//跟文档_id
通过ES id删除
条件删除
POST /taobao_goods/_delete_by_query
{
  "query":{
    "match":{
      "id":"2"
    }
  }
}//通过mysql id删除


//删除所有match_all
POST /taobao_goods/_delete_by_query
{
  "query":{
    "match_all":{
    }
  }
}

工作原理

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎

es容器创建

        1.拉取镜像 

        docker pull elasticsearch:xx  #版本尽量大于7.12.1

        2.创建es网络

        docker network create es-network

        3.找到usr创建elasticsearch文件夹 在里面创建data和plugins文件夹

        cd usr

        mkdir elasticsearch 

        cd elasticsearch

        mkdir data

        mkdir plugins

#效果

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎

        4.修改挂载文件权限

        chmod -R 777 elasticsearch

        5.创建容器

docker run -d \
--name elasticsearch \
--net=es-network \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e xpack.security.authc.api_key.enabled=true \
-e "ES_JAVA_OPTS=-Xms50m -Xmx512m" \
-v es-data:/usr/elasticsearch/data \
-v es-plugins:/usr/elasticsearch/plugins \
docker.elastic.co/elasticsearch/elasticsearch:7.12.1

docker run -d \        后台运行
--name elasticsearch \        给容器起一个别名
--net=es-network \        指定容器连接到名为es-network的网络上面
-p 9200:9200 \        主机容器之间端口映射,9200用于程序调用使用
-p 9300:9300 \        主机容器之间端口映射,9300用于es集群之间的通信
-e "discovery.type=single-node" \        配置单节点启动发现的环境变量
-e xpack.security.authc.api_key.enabled=true  \        启动api秘钥认证功能
-e "ES_JAVA_OPTS=-Xms50m -Xmx512m" \        指定java虚拟机堆内存最小为50mb最大为512mb
-v es-data:/usr/elasticsearch/data \        挂载数据目录卷
-v es-plugins:/usr/elasticsearch/plugins \        挂载插件目录卷
docker.elastic.co/elasticsearch/elasticsearch:7.12.1        指定运行的镜像:版本

ps:如果运行不了查看是否有多余空格

        6.查看安装成功

curl http://localhost:9200

#返回

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎

        7.给es设置访问密码

                1.进入es容器

                2.进入/usr/share/elasticsearch/config路径

                3.编辑elasticsearch.yml配置文件

                 vi elasticsearch.yml

加入

                http.cors.enabled: true
                http.cors.allow-origin: "*"
                http.cors.allow-headers: Authorization
                xpack.security.enabled: true
                xpack.security.transport.ssl.enabled: true

                4.ctrl+qp

                5.重启es容器

                6.再次进入容器

                7.设置密码

        ./bin/elasticsearch-setup-passwords interactive

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎

                

                8.退出,进入宿主机再次重启容器,完成

                9.验证:使用浏览器访问    ip:9200

                        弹出登录框 用户名默认 :elastic

最后返回值

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎

           

安装可视化工具kibana

        1.拉取镜像kibana 版本与es对应

docker pull kibana:7.12.1

        2.创建kibana网络

docker network create kibana-network

        3.kibana容器创建

docker run -d \
--name kibana \
--net=kibana-network \
-e ELASTICSEARCH_HOSTS=http://es的服务器ip地址:9200 \
-p 5601:5601 \
docker.elastic.co/kibana/kibana:7.12.1

docker run -d \        后台运行
--name kibana \        设置容器名
--net=kibana-network \        设置kibana网络
-e ELASTICSEARCH_HOSTS=http://es的服务器ip地址:9200 \        
-p 5601:5601 \        主机容器之间端口映射
docker.elastic.co/kibana/kibana:7.12.1        运行的镜像名:版本号

        4.进入容器kibana 进入config

 bash-4.4$ pwd
/usr/share/kibana/config

        5.更改kibana配置文件

vi kibana.yml 

加入

i18n.locale: "zh-CN"
elasticsearch.username: "elastic" #用户名
elasticsearch.password: "xxxxx" #为es配置的密码要相同

        6.退出容器 重启容器

        7.浏览器访问  ip:5601        

                输入用户名和密码进入elastic

ElasticSearch配置及Kibana可视化配置,elasticsearch,大数据,搜索引擎文章来源地址https://www.toymoban.com/news/detail-761251.html

到了这里,关于ElasticSearch配置及Kibana可视化配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch与Kibana:搭建可视化仪表盘

    ElasticSearch 和 Kibana 是两个非常受欢迎的开源工具,它们在日志分析、监控和搜索领域发挥着重要作用。ElasticSearch 是一个分布式、实时的搜索引擎,它可以处理大量数据并提供快速、准确的搜索结果。Kibana 是一个用于可视化数据的工具,它可以将 ElasticSearch 中的数据以各种形

    2024年02月22日
    浏览(35)
  • Linux安装ElasticSearch和可视化工具Kibana

            ElasticSearch是一个使用java语言并且基于Lucene编写的搜索引擎框架,提供了分布式的全文搜索功能,提供了一个统一的基于restful风格的web接口。         Lucene:Lucene本身就是一个搜索引擎的底层         分布式:Es主要是为了突出他的横向扩展能力       

    2023年04月12日
    浏览(52)
  • 安装Elasticsearch,kibana可视化工具,ik分词器

    1.Elasticsearch下载地址:Elasticsearch 8.12.2 | Elastic Elasticsearch 8.12.2 | Elastic https://www.elastic.co/cn/downloads/past-releases/elasticsearch-8-12-2 Elasticsearch 8.12.2 | Elastic下载完成后直接解压,在bin目录下启动elasticsearch.bat文件启动完成后访问http://localhost:9200/看到以下内容就表示安装成功了 2.安装k

    2024年04月28日
    浏览(36)
  • (八) ElasticSearch数据可视化和分析工具Kibana安装和使用

    Kibana 是一个用于数据可视化和分析的开源工具,它是 Elastic Stack(包括 Elasticsearch、Logstash 和 Beats)的一部分。Kibana 提供了直观、交互式的用户界面,让用户能够以图表、表格、地图等形式实时探索和可视化存储在 Elasticsearch 中的数据。 前往 Elastic 官网(https://www.elastic.co/

    2024年02月11日
    浏览(53)
  • ElasticSearch+Kibana+Logstash实现日志可视化运维监控

    1.目标 1.安装ElasticSearch 2.安装Kibana 3.安装Logstash采集/var/log/messages日志内容 4.图表化展示日志监控结果 2.版本 这三者的版本号要完全一样 ElasticSearch 6.1.1 Kibana 6.1.1 Logstash 6.1.1 Jdk1.8.0_181 3.安装ElasticSearch 安装包:https://cloud.189.cn/t/zuQz6v2YZRVb (访问码:6sbf) 下载网站:https://www.elast

    2024年02月10日
    浏览(46)
  • Elasticsearch系列组件:Kibana无缝集成的数据可视化和探索平台

    Elasticsearch 是一个开源的、基于 Lucene 的分布式搜索和分析引擎,设计用于云计算环境中,能够实现实时的、可扩展的搜索、分析和探索全文和结构化数据。它具有高度的可扩展性,可以在短时间内搜索和分析大量数据。 Elasticsearch 不仅仅是一个全文搜索引擎,它还提供了分布

    2024年02月08日
    浏览(43)
  • 基于Elasticsearch+Logstash+Kibana+Filebeat的日志收集分析及可视化

    sudo rm /var/lib/dpkg/lock* sudo dpkg --configure -a apt update tail -f /var/log/car.log 海量的业务应用,也带来了海量的日志数据,给业务应用的运维带来了新的挑战。例如,我们常用的网约车应用,单个平台的日订单数量可以达到上亿条,产生各种类型的日志数据,像用户业务方面会产生交

    2024年01月21日
    浏览(47)
  • 利用kibana可视化DevTools界面实现ElasticSearch的索引和文档的增删查改

            ElasticSearch(简称ES)相对于传统的MySQL数据库来说,ES更擅长的是海量数据的搜索,分析和计算;如果是复杂搜索,无疑可以使用ElasticSearch。但是,传统的MySQL也有自己的有点,MySQL更擅长的是事务类型的操作,可以确保数据的安全和一致性;如果是有事务要求,如

    2024年02月08日
    浏览(40)
  • 史上最全从零搭建ELKB(Elasticsearch、Logstash、Kibana、Beat)分布式日志管理可视化平台之一

    ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其闭环的日志处理流程、高效的检索性能、线性的扩展能力、较低的运维成本等特点,ELKB在最近几年迅速崛起,成为实时日志处理开源领域的首要选择。(https://cloud.tencent.com/developer/article/1143

    2024年01月19日
    浏览(48)
  • ELK(Elasticsearch、Kibana、Logstash)以及向ES导入mysql数据库数据或CSV文件数据,创建索引和可视化数据

    地址:Past Releases of Elastic Stack Software | Elastic 在Products和version处分别选择需要下载的产品和版本,E(elasticsearch)L(logstash)K(kibana)三者版本必须相同 将下载好的elk分别解压到相同路径下 本文中elasticsearch=E=ES=es;L=logstash;K=kibana 一般情况下使用默认配置即可,下面对我的

    2024年02月15日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包