ES -极客学习

这篇具有很好参考价值的文章主要介绍了ES -极客学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES -极客学习,分布式,elasticsearch,大数据

Elasticsearch 简介及其发展历史

起源 Lucene

  • 于 Java 语言开发的搜索引擎库类
  • 创建于 1999 年,2005 年成为 Apache 顶级开源项目
  • Lucene 具有高性能、易扩展的优点
  • Lucene 的局限性
    • 只能基于 Java 语言开发类库的接口学习曲线陡峭
    • 原生并不支持水平扩展
    • 原生并不支持水平扩展

Elasticsearch 的诞生

  • 2004 年Shay Banon 基于 Lucene 开发了 Compass
  • 2010 年Shay Banon 重写了 Compass,取名 Elasticsearch
    • 支持分布式,可水平扩展
    • 降低全文检索的学习曲线,可以被任何编程语言调用

ES 分布式架构

ES -极客学习,分布式,elasticsearch,大数据

ES 支持多种方式接入

ES -极客学习,分布式,elasticsearch,大数据

ES 主要功能

ES -极客学习,分布式,elasticsearch,大数据

ES 版本
ES -极客学习,分布式,elasticsearch,大数据

ES 版本新功能

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据

ES 家族成员与其应用场景

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据

Elasticsearch的安装与简单配置

下载地址:https://www.elastic.co/cn/downloads/elasticsearch

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据

docker 中安装elsticSearch

https://zhuanlan.zhihu.com/p/669733170

https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html

1 step Install Docker.
Install Docker. Visit Get Docker to install Docker for your environment.

If using Docker Desktop, make sure to allocate at least 4GB of memory. You can adjust memory usage in Docker Desktop by going to Settings > Resources.

  1. Create a new docker network.
docker network create elastic

Pull the Elasticsearch Docker image.
3 step elastic images

docker pull docker.elastic.co/elasticsearch/elasticsearch:8.11.3
Optional: Install Cosign for your environment. Then use Cosign to verify the Elasticsearch image’s signature.
  1. step
wget https://artifacts.elastic.co/cosign.pub

cosign verify --key cosign.pub docker.elastic.co/elasticsearch/elasticsearch:8.11.3
The cosign command prints the check results and the signature payload in JSON format:

Verification for docker.elastic.co/elasticsearch/elasticsearch:8.11.3
– The following checks were performed on each of these signatures:

  • The cosign claims were validated
  • Existence of the claims in the transparency log was verified offline
  • The signatures were verified against the specified public key Start an Elasticsearch container.
  1. step Start an Elasticsearch container.
docker run --name es01 --net elastic -p 9200:9200 -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:8.11.3

ES -极客学习,分布式,elasticsearch,大数据

linux 下elstic 的安装配置

https://gitee.com/geektime-geekbang/geektime-ELK/tree/master/part-1/2.1-Elasticsearch%E7%9A%84%E5%AE%89%E8%A3%85%E4%B8%8E%E7%AE%80%E5%8D%95%E9%85%8D%E7%BD%AE#%E7%9B%B8%E5%85%B3%E9%98%85%E8%AF%BB

#启动单节点
bin/elasticsearch -E node.name=node0 -E cluster.name=geektime -E path.data=node0_data

#安装插件
bin/elasticsearch-plugin install analysis-icu

#查看插件
bin/elasticsearch-plugin list
#查看安装的插件
GET http://localhost:9200/_cat/plugins?v

#start multi-nodes Cluster
bin/elasticsearch -E node.name=node0 -E cluster.name=geektime -E path.data=node0_data
bin/elasticsearch -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data
bin/elasticsearch -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data
bin/elasticsearch -E node.name=node3 -E cluster.name=geektime -E path.data=node3_data

#查看集群
GET http://localhost:9200
#查看nodes
GET _cat/nodes
GET _cluster/health

Kibana 的安装与界面快速浏览

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据

linux 下 kibana的启动

#启动kibana
bin/kibana

#查看插件
bin/kibana-plugin list

在Docker容器中运行Elasticsearch, Kibana和Cerebro

ES -极客学习,分布式,elasticsearch,大数据

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
进入 7.x-docker-2-es-instance目录

#启动
docker-compose up

#停止容器
docker-compose down

#停止容器并且移除数据
docker-compose down -v

#一些docker 命令
docker ps
docker stop Name/ContainerId
docker start Name/ContainerId

#删除单个容器
$docker rm Name/ID
-f, –force=false; -l, –link=false Remove the specified link and not the underlying container; -v, –volumes=false Remove the volumes associated to the container

#删除所有容器
$docker rm `docker ps -a -q`  
停止、启动、杀死、重启一个容器
$docker stop Name/ID  
$docker start Name/ID  
$docker kill Name/ID  
$docker restart name/ID

Logstash 安装与测试数据导入

ES -极客学习,分布式,elasticsearch,大数据
ES -极客学习,分布式,elasticsearch,大数据
安装Logstash,并且导入Movielens的测试数据集

Small: 100,000 ratings and 3,600 tag applications applied to 9,000 movies by 600 users. Last updated 9/2018.
movielens/ml-latest-small/movies.csv movie数据
movielens/logstash.conf //logstash 7.x 配置文件,
movielens/logstash6.conf //logstash 6.x 配置文件文章来源地址https://www.toymoban.com/news/detail-781614.html

#下载与ES相同版本号的logstash,(7.1.0),并解压到相应目录
#修改movielens目录下的logstash.conf文件
#path修改为,你实际的movies.csv路径
input {
  file {
    path => "YOUR_FULL_PATH_OF_movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

#启动Elasticsearch实例,然后启动 logstash,并制定配置文件导入数据
bin/logstash -f /YOUR_PATH_of_logstash.conf
  • 下载最MovieLens最小测试数据集:https://grouplens.org/datasets/movielens/
  • Logstash下载:https://www.elastic.co/cn/downloads/logstash
  • Logstash参考文档:https://www.elastic.co/guide/en/logstash/current/index.html

到了这里,关于ES -极客学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据学习初级入门教程(十七) —— Elasticsearch 8.7.0 完全分布式集群的安装、配置、启动和测试

    好久没用 Elasticsearch 集群了,参考以前写的《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试_elasticsearch 7.6.2需要专属网络_孟郎郎的博客-CSDN博客》、《大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测

    2024年02月04日
    浏览(44)
  • elasticsearch(ES)分布式搜索引擎01——(初识ES,索引库操作和文档操作,RestClient操作索引库和文档)

    1.1.1.elasticsearch的作用 elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容 1.1.2.ELK技术栈 elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域: 而elasticsearc

    2024年02月07日
    浏览(62)
  • 分布式文档储存————elasticsearch学习笔记(四)

    之前有提到一个文档至少被储存在一个主分片中,副本分片可以有多个,但是主分片至少有一个。 因此,例如一个集群被设置有3个主分片,为了保证文档被均匀的存储在这些主分片,es会根据routing(可能是文档的id或自己设置),通过一个hash算法将文档分配到一个主分片中

    2023年04月22日
    浏览(43)
  • 分布式搜索引擎Elasticsearch基础入门学习

    Elasticsearh 是 elastic.co 公司开发的分布式搜索引擎。 Elasticsearch(简称ES)是一个开源的分布式、高度可扩展的全文搜索和分析引擎。它能够快速、近乎实时的存储、搜索和分析大量数据。适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型数据。 它通

    2024年02月03日
    浏览(38)
  • 项目1在线交流平台-6.Elasticsearch分布式搜索引擎-3.ES结合Kafka应用-开发社区搜索功能

    参考牛客网高级项目教程 狂神说Elasticsearch教程笔记 尚硅谷Elasticsearch教程笔记 1.在业务层处理好搜索帖子的服务 包括保存帖子到ES服务器 从服务器中删除帖子 从服务器中查询帖子 2.发布事件 在controller层,结合kafka,发布帖子、增加评论时,数据放入消息队列 异步消费消息

    2024年02月02日
    浏览(56)
  • 黑马程序员--分布式搜索ElasticSearch学习笔记

    黑马视频地址:https://www.bilibili.com/video/BV1LQ4y127n4/ 想获得最佳的阅读体验,请移步至我的个人博客 SpringCloud学习笔记 消息队列MQ学习笔记 Docker学习笔记 分布式搜索ElasticSearch学习笔记 ElasticSearch的作用 ElasticSearch 是一款非常强大的开源搜素引擎,具备非常强大的功能,可以帮

    2024年02月04日
    浏览(49)
  • Spring Cloud学习(九)【Elasticsearch 分布式搜索引擎01】

    Elasticsearch 是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。 elasticsearch 结合 kibana、Logstash、Beats,也就是 elastic stack(ELK) 。被广泛应用在日志数据分析、实时监控等领域。 elasticsearch 是 elastic stack 的核心,负责 存储、搜索、分析数据 。

    2024年02月05日
    浏览(41)
  • Spring Cloud学习(十一)【深入Elasticsearch 分布式搜索引擎03】

    聚合(aggregations)可以实现对文档数据的统计、分析、运算。聚合常见的有三类: 桶(Bucket)聚合:用来对文档做分组 TermAggregation:按照文档字段值分组 Date Histogram:按照日期阶梯分组,例如一周为一组,或者一月为一组 度量(Metric)聚合:用以计算一些值,比如:最大值

    2024年01月23日
    浏览(48)
  • 分布式 SpringCloudAlibaba、Feign与RabbitMQ实现MySQL到ES数据同步

    本文参考黑马 分布式Elastic search Elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容 同步调用 方案一:同步调用 基本步骤如下: hotel-demo对外提供接口,用来修改elasticsearch中的数据 酒店管理服务在完成数据库操

    2024年04月11日
    浏览(46)
  • SpringCloud分布式搜索引擎、数据聚合、ES和MQ的结合使用、ES集群的问题

    目录 数据聚合 聚合的分类 ​编辑 DSL实现Bucket聚合 ​编辑  DSL实现Metrics聚合​编辑 RestAPI实现聚合  对接前端接口​编辑  自定义分词器​编辑 Completion suggester查询 Completion suggester查询 酒店数据自动补全 实现酒店搜索框界面输入框的自动补全  数据同步问题分析​编辑 同

    2024年02月16日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包