ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案

这篇具有很好参考价值的文章主要介绍了ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案

本文是ElasticSearch第三讲,在了解ElaticSearch之后,我们还要了解Elastic背后的生态 即我们常说的ELK;与此同时,还会给你展示ElasticSearch的案例场景,让你在学习ES前对它有个全局的印象。

1、Elastic Stack生态

Beats + Logstash + ElasticSearch + Kibana

如下是我从官方博客中找到图,这张图展示了ELK生态以及基于ELK的场景(最上方)

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

由于Elastic X-Pack是面向收费的,所以我们不妨也把X-Pack放进去,看看哪些是由X-Pack带来的,在阅读官网文档时将方便你甄别重点:

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

1.1、Beats

Beats是一个面向轻量型采集器的平台,这些采集器可以从边缘机器向Logstash、ElasticSearch发送数据,它是由Go语言进行开发的,运行效率方面比较快。从下图中可以看出,不同Beats的套件是针对不同的数据源。

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

1.2、Logstash

Logstash是动态数据收集管道,拥有可扩展的插件生态系统,支持从不同来源采集数据,转换数据,并将数据发送到不同的存储库中。其能够与ElasticSearch产生强大的协同作用,后被Elastic公司在2013年收购。

它具有如下特性:

1)实时解析和转换数据;

2)可扩展,具有200多个插件;

3)可靠性、安全性。Logstash会通过持久化队列来保证至少将运行中的事件送达一次,同时将数据进行传输加密;

4)监控;

1.3、ElasticSearch

ElasticSearch对数据进行搜索、分析和存储,其是基于JSON的分布式搜索和分析引擎,专门为实现水平可扩展性、高可靠性和管理便捷性而设计的。

它的实现原理主要分为以下几个步骤:

1)首先用户将数据提交到 ElasticSearch 数据库中;

2)再通过分词控制器将对应的语句分词;

3)将分词结果及其权重一并存入,以备用户在搜索数据时,根据权重将结果排名和打分,将返回结果呈现给用户;

1.4、Kibana

Kibana实现数据可视化,其作用就是在ElasticSearch中进行民航。Kibana能够以图表的形式呈现数据,并且具有可扩展的用户界面,可以全方位的配置和管理ElasticSearch。

Kibana最早的时候是基于Logstash创建的工具,后被Elastic公司在2013年收购。

1)Kibana可以提供各种可视化的图表

2)可以通过机器学习的技术,对异常情况进行检测,用于提前发现可疑问题;

2、从日志收集系统看ES Stack的发展

我们看下ELK技术栈的演化,通常体现在日志收集系统中。

一个典型的日志系统包括:

(1)收集:能够采集多种来源的日志数据

(2)传输:能够稳定的把日志数据解析过滤并传输到存储系统

(3)存储:存储日志数据

(4)分析:支持 UI 分析

(5)警告:能够提供错误报告,监控机制

2.1、beats+elasticsearch+kibana

Beats采集数据后,存储在ES中,由Kibana可视化的展示。

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

2.2、beats+logstath+elasticsearch+kibana

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

该框架是在上面的框架的基础上引入了logstash,引入logstash带来的好处如下:

(1)Logstash具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻背压。

(2)从其他数据源(例如数据库,S3或消息传递队列)中提取。

(3)将数据发送到多个目的地,例如S3,HDFS或写入文件。

(4)使用条件数据流逻辑组成更复杂的处理管道。

beats结合logstash带来的优势

(1)水平可扩展性,高可用性和可变负载处理:beats和logstash可以实现节点之间的负载均衡,多个logstash可以实现logstash的高可用;

(2)消息持久性与至少一次交付保证:使用beats或Winlogbeat进行日志收集时,可以保证至少一次交付。从Filebeat或Winlogbeat到Logstash以及从Logstash到Elasticsearch的两种通信协议都是同步的,并且支持确认。Logstash持久队列提供跨节点故障的保护。对于Logstash中的磁盘级弹性,确保磁盘冗余非常重要。

(3)具有身份验证和有线加密的端到端安全传输:从Beats到Logstash以及从 Logstash到Elasticsearch的传输都可以使用加密方式传递 。与Elasticsearch进行通讯时,有很多安全选项,包括基本身份验证,TLS,PKI,LDAP,AD和其他自定义领域

增加更多的数据源 比如:TCP,UDP和HTTP协议是将数据输入Logstash的常用方法

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

2.3、beats+MQ+logstash+elasticsearch+kibana ✅

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

在如上的基础上我们可以在beats和logstash中间添加一些组件redis、kafka、RabbitMQ等,添加中间件将会有如下好处:

(1)降低对日志所在机器的影响,这些机器上一般都部署着反向代理或应用服务,本身负载就很重了,所以尽可能的在这些机器上少做事;

(2)如果有很多台机器需要做日志收集,那么让每台机器都向Elasticsearch持续写入数据,必然会对Elasticsearch造成压力,因此需要对数据进行缓冲,同时,这样的缓冲也可以在一定程度保护数据不丢失;

(3)将日志数据的格式化与处理放到Indexer中统一做,可以在一处修改代码、部署,避免需要到多台机器上去修改配置;

3、Elastic Stack最佳实践

我们再看下官方开发成员分享的最佳实践。

3.1、日志收集系统

基本的日志系统

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

增加数据源,和使用MQ

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

3.2、Metric收集和APM性能监控

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

3.3、多数据中心方案

通过冗余实现数据高可用

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

两个数据采集中心(比如采集两个工厂的数据),采集数据后的汇聚

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana

数据分散,跨集群的搜索

ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案,深入理解搜素中间件,elasticsearch,大数据,Elastic Stack,日志收集,Beats,Logstash,Kibana文章来源地址https://www.toymoban.com/news/detail-727174.html

4、参考文章

  • https://www.elastic.co/cn/elasticsearch/
  • https://www.elastic.co/pdf/architecture-best-practices.pdf
  • https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html
  • https://www.cnblogs.com/supersnowyao/p/11110703.html
  • https://blog.51cto.com/wutengfei/2645627

到了这里,关于ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Elastic (ELK) Stack 实战教程】11、使用 ElastAlert 实现 ES 钉钉群日志告警

    目录 一、ElastAlert 概述 二、安装 ElastAlert 2.1 安装依赖 2.2 安装 Python 环境 2.3 安装 ElastAlert 2.4 ElastAlert 配置文件 2.5 创建 ElastAlert 索引 2.6 测试告警配置是否正常 三、ElastAlert 集成钉钉 3.1 下载 ElastAlert 钉钉报警插件 3.2 创建钉钉机器人 3.3 请求 nginx 频繁出现 401 场景 3.3.1 配

    2023年04月23日
    浏览(55)
  • Elastic Stack 8.11:引入一种新的强大查询语言 ES|QL

    作者:Tyler Perkins, Ninoslav Miskovic, Gilad Gal, Teresa Soler, Shani Sagiv, Jason Burns Elastic® Stack 8.11 引入了数据流生命周期、一种配置数据流保留和降采样(downsampling) 的简单方法(技术预览版),以及有关 Kibana® Inspector 中跨集群搜索响应的详细信息以及重新路由摄取处理器(reroute i

    2024年02月03日
    浏览(53)
  • Elastic Stack 8.12:通过对 ES|QL 等的改进增强了向量搜索

    作者:来自 Elastic Tyler Perkins, Shani Sagiv, Gilad Gal, Ninoslav Miskovic Elastic® Stack 8.12 构建于 Apache Lucene 9.9(有史以来最快的 Lucene 版本)之上,基于我们对标量量化和搜索并发性的贡献,为文本、向量和混合搜索带来了巨大进步。 此版本还优化了 Elasticsearch® 中的查询并行化以及

    2024年01月22日
    浏览(44)
  • Elasticsearch:在 Java 客户端应用中管理索引 - Elastic Stack 8.x

    管理索引是客户端应用常用的一些动作,比如我们创建,删除,打开 及关闭索引等操作。在今天的文章中,我将描述如何在 Java 客户端应用中对索引进行管理。 我们需要阅读之前的文章 “Elasticsearch:在 Java 客户端中使用 truststore 来创建 HTTPS 连接”。在那篇文章中,我们详

    2023年04月09日
    浏览(39)
  • Elastic stack8.10.4搭建、启用安全认证,启用https,TLS,SSL 安全配置详解

    ELK大家应该很了解了,废话不多说开始部署 kafka在其中作为消息队列解耦和让logstash高可用 kafka和zk 的安装可以参考这篇文章 深入理解Kafka3.6.0的核心概念,搭建与使用-CSDN博客 需要 elasticsearch-8.10.4 logstash-8.10.4 kibana-8.10.4 kafka_2.13-3.6.0 apache-zookeeper-3.9.1-bin.tar filebeat-8.10.4-linux-

    2024年02月04日
    浏览(43)
  • Elastic Stack(1):Elastic Stack简介

    1 简介 ELK是一个免费开源的日志分析架构技术栈总称,官网https://www.elastic.co/cn。包含三大基础组件,分别是Elasticsearch、Logstash、Kibana。但实际上ELK不仅仅适用于日志分析,它还可以支持其它任何数据搜索、分析和收集的场景,日志分析和收集只是更具有代表性。并非唯一性。

    2024年01月19日
    浏览(50)
  • es--Elastic Search深度分页问题分析及四种解决方案

    ​ Elasticsearch的深度分页是指当你需要查询的结果数量非常多时,需要分页查询的第n页时,每次查询都需要扫描前n-1页的数据来获取结果。这样会导致性能问题,因为它需要很长的时间来完成查询。 Scroll API: Scroll API可以让你在每个查询阶段中存储状态。这样,你就不需要从

    2024年02月08日
    浏览(42)
  • Kibana-elastic--Elastic Stack--ELK Stack

    Kibana 是什么? | Elastic 将数据转变为结果、响应和解决方案 使用 Kibana 针对大规模数据快速运行数据分析,以实现可观测性、安全和搜索。对来自任何来源的任何数据进行全面透彻的分析,从威胁情报到搜索分析,从日志到应用程序监测,不一而足。 虫瞻图(英语:worm\\\'s-eye

    2024年02月15日
    浏览(43)
  • Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单

    在 8.0 中,我们很高兴为所有用户带来简化的安全功能。 从 7.1 开始,我们向所有人免费提供了确保 Elastic Stack 安全所需的所有功能。 然而,我们知道设置安全性并不好玩,你需要专注于你的项目目标。 好消息给你! 从 8.0 开始,自管理集群默认启用 Elastic Stack 安全性,配置

    2023年04月08日
    浏览(43)
  • Elastic:使用 Docker 安装 Elastic Stack 8.x 并开始使用

    Elastic Stack 8.0 终于于最近发布了。在我之前的文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 我已经详细地描述了如何在本地部署 Elasticsearch 及 Kibana。设置 Elasticsearch 的最简单方法是使用 Elastic Cloud 上的 Elasticsearch Service 创建托管部署。 如果你

    2024年02月16日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包