ELK环境搭建——概况

Elastic Stack，核心产品包括 Elasticsearch、Kibana、Beats 和 Logstash等等。能够安全可靠地从任何来源获取任何格式的数据，然后对数据进行搜索、分析和可视化。

目录

一：Elasticsearch：

1.1 从数据中探寻各种问题的答案

1.1.1 定义您自己的搜索方式

1.1.2 分析大规模数据

1.2 Elasticsearch 很快，快到不可思议

1.2.1 快速获得结果

1.2.2 强大的设计

1.2.3 无所不包

1.3 可以在笔记本电脑上运行。也可以在承载了 PB 级数据的成百上千台服务器上运行。

1.4 搜索所有内容，找到所需的具体信息

1.5 我们在您高飞的时候保驾护航

1.6 存储和探索数据以满足自身需求。

1.7 我到底能够使用 Elasticsearch 做什么？

二：Logstash：

2.1 输入、筛选和输出

2.1.1 采集各种样式、大小和来源的数据

2.1.2 实时解析和转换数据

2.1.3 选择您的存储库，传输您的数据

2.1.4 以您自己的方式创建和配置管道

2.2 使用 Elastic Stack 更快获得洞察

2.3 构建可信的交付管道 

2.4 全方位监视您的部署

三：Kibana：

3.1 在分秒必争且拥有海量数据的情况下，做出更好的决策

3.2 一张图片胜过千万行日志…

3.2.1 使用 Kibana 进行搜索

3.2.2 利用 Kibana 观测

3.2.3 使用 Kibana 进行保护

3.2.4 自主探索 Kibana 的使用方式

3.3 更快的分析过程，更快的解决方案

3.3.1 使用字段统计信息调查您的数据环境

3.3.2 通过仪表板和案例引导团队得出洞察

3.3.3 监测告警并采取行动 

3.4 对所有数据进行扩展分析

3.4.1 利用 Discover 缩小调查范围

3.4.2 在 Kibana Lens 中拖放即可实现可视化

3.4.4 使用 Elastic Maps 探索地理数据

3.5 精准锁定趋势

3.5.1 使用 Canvas 将数据发现匹配至受众

3.5.2 运行时序数据以查找相似性

3.5.3 借助 ML 的强大能力进行分析

3.6 在单一且安全的数据分析平台上构建信任

3.6.1 控制访问权限

3.6.2 确保堆栈的安全

3.6.3 分享与合作

3.6.4 集成其他工具

四：Filebeat

4.1 汇总、“tail -f”和搜索

4.2 性能稳健，不错过任何检测信号

4.3 Filebeat 让简单的事情简单化

4.4 容器就绪和云端就绪

4.5 它不会导致您的管道过载

4.6 发送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化。

一：Elasticsearch：

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，会集中存储数据，飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。可以快速存储、搜索和分析大量数据。

1.1 从数据中探寻各种问题的答案

1.1.1 定义您自己的搜索方式

通过 Elasticsearch，您能够执行及合并多种类型的搜索（结构化数据、非结构化数据、地理位置、指标），搜索方式随心而变。先从一个简单的问题出发，试试看能够从中发现些什么。

1.1.2 分析大规模数据

找到与查询最匹配的 10 个文档并不困难。但如果面对的是十亿行日志，又该如何解读呢？Elasticsearch 聚合让您能够从大处着眼，探索数据的趋势和规律。

1.2 Elasticsearch 很快，快到不可思议

1.2.1 快速获得结果

如果您能够立即获得答案，您与数据的关系就会发生变化。这样您就有条件进行迭代并涵盖更大的范围。 

1.2.2 强大的设计

但是要达到这样的速度并非易事。我们通过有限状态转换器实现了用于全文检索的倒排索引，实现了用于存储数值数据和地理位置数据的 BKD 树，以及用于分析的列存储。

1.2.3 无所不包

而且由于每个数据都被编入了索引，因此您再也不用因为某些数据没有索引而烦心。您可以用快到令人惊叹的速度使用和访问您的所有数据。

1.3 可以在笔记本电脑上运行。也可以在承载了 PB 级数据的成百上千台服务器上运行。

原型环境和生产环境可无缝切换；无论 Elasticsearch 是在一个节点上运行，还是在一个包含 300 个节点的集群上运行，您都能够以相同的方式与 Elasticsearch 进行通信。

它能够水平扩展，每秒钟可处理海量事件，同时能够自动管理索引和查询在集群中的分布方式，以实现极其流畅的操作。

1.4 搜索所有内容，找到所需的具体信息

基于各项元素（从词频或新近度到热门度等）对搜索结果进行排序。将这些内容与功能进行混搭，以优化向用户显示结果的方式。

而且，由于我们的大部分用户都是真实的人，Elasticsearch 具备齐全功能，可以处理包括各种复杂情况（例如拼写错误）在内的人为错误。

1.5 我们在您高飞的时候保驾护航

硬件故障。网络分割。Elasticsearch 为您检测这些故障并确保您的集群（和数据）的安全性和可用性。通过跨集群复制功能，辅助集群可以作为热备份随时投入使用。Elasticsearch 运行在一个分布式的环境中，从设计之初就考虑到了这一点，目的只有一个，让您永远高枕无忧。

1.6 存储和探索数据以满足自身需求。

数据是不断变化的，这使得存储和搜索全部数据变得非常昂贵。Elasticsearch 能让您在性能和成本之间取得平衡。您可以将数据存储在本地以实现快速查询，也可以将无限量的数据远程存储于低成本的 S3 上。借助运行时字段，您还可以快速加载数据并针对变化做出相应调整。

1.7 我到底能够使用 Elasticsearch 做什么？

数字、文本、地理位置、结构化数据、非结构化数据。适用于所有数据类型。全文本搜索只是全球众多公司利用 Elasticsearch 解决各种挑战的冰山一角。查看直接依托 Elastic Stack 所构建解决方案的完整列表。

二：Logstash：

集中、转换和存储数据，Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到存储库中。

2.1 输入、筛选和输出

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

2.1.1 采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

2.1.2 实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 筛选器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。 

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化，完全排除敏感字段
• 简化整体处理，不受数据源、格式或架构的影响。  

使用我们丰富的筛选器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

2.1.3 选择您的存储库，传输您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。 

Logstash 提供了众多输出选择，您可以将数据发送到所需的位置，并且能够灵活地解锁众多下游用例。

2.1.4 以您自己的方式创建和配置管道

Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、筛选器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。

从定制应用程序采集数据？没有看到所需的插件？Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器，可帮助您开始创作并分享成果。

2.2 使用 Elastic Stack 更快获得洞察

Logstash 模块通过热门的数据源（如 ArcSight 和 Netflow ）呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板，您在短短几分钟内便可开始数据探索。

2.3 构建可信的交付管道 

假如 Logstash 节点发生故障，Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力，现在您无需采用额外的队列层，Logstash 就能平稳度过高峰期。此外，我们还能让您充分确保自己采集管道的安全性。

2.4 全方位监视您的部署

Logstash 管道通常服务于多种用途，会变得非常复杂，因此充分了解管道性能、可用性和瓶颈异常重要。借助监测和管道查看器功能，您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。

三：Kibana：

使用 Kibana 针对大规模数据快速运行数据分析，以实现可观测性、安全和搜索。对来自任何来源的任何数据进行全面透彻的分析，从日志、搜索分析、到应用程序监测等，不一而足。

3.1 在分秒必争且拥有海量数据的情况下，做出更好的决策

使用 Kibana 进行数据分析后，您能够更快地解决问题，并从多个用例和团队中收获大量洞察。发现洞察以调查威胁、监测系统、评估搜索性能，并采取行动；所有这些都在一个由 Elasticsearch 提供支持的平台上完成，能获得 Elasticsearch 在速度、可扩展性和相关性方面的优势。

3.2 一张图片胜过千万行日志…

理解并探索您的可观测性数据，分析并可视化潜在安全泄露，分享搜索分析的内容并采取行动，从而改善客户的搜索结果。

3.2.1 使用 Kibana 进行搜索

分析并可视化网站和用户行为数据，以此优化客户和用户的搜索体验。发现用户查询的趋势，提高搜索结果的相关性等。

• 利用 Kibana Lens 实现可视化
• 利用仪表板和 Machine Learning 分析搜索相关性指标
• 通过分析搜索提高结果质量

3.2.2 利用 Kibana 观测

通过跟踪仪表板、Machine Learning 和其他高级分析功能调查问题，从而缩短平均解决时间。确定根本原因，并将从中吸取的经验教训反馈给团队，形成告警。

• 利用 Kibana Lens 实现可视化
• 在 Discover 中了解复杂的非结构化数据
• 通过分析时间序列来解读一段时间内的趋势
• 详细了解捷豹如何使用 Kibana 将生产线指标可视化

3.2.3 使用 Kibana 进行保护

执行即席搜索，查找新发现漏洞的标记，从而扩展分析工具包。通过数据切片和切块快速确定事件的范围和根本原因。

• 利用 Kibana Lens 实现可视化
• 根据告警采取行动
• 通过地理空间分析将地理环境添加到调查中
• 利用 Machine Learning 进行检测

3.2.4 自主探索 Kibana 的使用方式

通过即席分析和可视化进行深入调查，依靠直觉找到复杂数据问题的答案。从不同角度检查数据，通过查询和可视化调整分析，然后通过一次性仪表板快速与他人分享您的发现。

• 在 Discover 中缩放特定字段和文档
• 按照 Kibana Lens 的智能建议尝试不同图表类型
• 使用自定义 公式通过可视化准确定位子集

3.3 更快的分析过程，更快的解决方案

从数据探索到寻找洞察，再到分享结果，Kibana 能够让您快速理解自己的数据，迅速发现趋势和异常，并立即将发现发送给正确的团队。

3.3.1 使用字段统计信息调查您的数据环境

从鸟瞰图进行战略数据发现，然后只需单击几下即可切换为虫瞻图，以检测异常情况并排查问题。在一处查看您的全部字段和数据分布情况，以便您能在开始调查之前就理解自己的数据，对数据进行转换（如果您缺失某些内容），并了解您的分析的范围。

3.3.2 通过仪表板和案例引导团队得出洞察

快速创建仪表板，将图表、地图和筛选功能有机整合，从而展示数据的全景。跨仪表板打造定制的深入分析内容，以实现更深层次的分析。创建案例以进行调查并邀请团队成员开展协作，从而更轻松地将洞察转换为行动。

3.3.3 监测告警并采取行动 

随时了解关键变更，以避免出现紧急危机。创建告警，让系统使用基于索引/指标的阈值来执行下列操作：发送邮件、创建 Slack 通知、激活 PagerDuty 工作流，或者任何数量的其他第三方集成。在 Discover、Elastic 可观测性和 Elastic 安全内定义唯一告警，并在“管理”选项卡内整体进行管理。

3.4 对所有数据进行扩展分析

无论您有多少数据，数据类型是什么，或者数据源是什么，您都可以使用 Kibana 探索、可视化并分析海量数据。

3.4.1 利用 Discover 缩小调查范围

使用 Discover 的数据探索工具快速从采集进入到分析。能在一处查看更多文档，意味着您可以轻松找到所需信息并随意进行数据切片和切块。

3.4.2 在 Kibana Lens 中拖放即可实现可视化

开始探索，即使不确定前进方向也没关系。随着数据渐具雏形，拖放字段并查看即时预览。根据您的字段选择，Kibana Lens 中的智能建议能够指导您进行可视化，让您最有效地展示数据。

3.4.4 使用 Elastic Maps 探索地理数据

使用 Elastic Maps 分析地理空间数据并识别一段时间内的地理模式、兴趣点以及其他探索方式。通过仪表板轻松分享和使用地理空间数据，并设置基于位置的告警，提供可操作的地理空间数据。

3.5 精准锁定趋势

有些相关性不使用经过训练的工具会很难发现，而我们的工具能够提高预测和发现这些相关性时的准确性和精准度，进而帮助您回答复杂问题。

3.5.1 使用 Canvas 将数据发现匹配至受众

使用可直接用于演示的视觉素材，为领导层准备演示文档来展示结果和发现。通过徽标、颜色和能够突出贵公司品牌特色的设计元素将自己的品牌和风格融入到数据中，讲述独属于您的故事。Canvas 能够帮您基于实时数据发挥无限创意，而且此功能还支持 SQL。

3.5.2 运行时序数据以查找相似性

重新运行您的数据可让您获得历史背景并理解有关现状的更多洞察。使用强大的分析工具来查找异常和预测未来场景。搭配可搜索快照和数据图层存储您的全部历史数据，并且针对需要数年数据的用例轻松地搜索存档数据。

3.5.3 借助 ML 的强大能力进行分析

使用 Elastic 的 Machine Learning 自动检测数据中的异常，将异常分类，或者找出趋势以引导您确定根本原因。使用 Kibana Lens 对您的数据进行可视化后，您可以直接在仪表板内配置正确的 Machine Learning。

3.6 在单一且安全的数据分析平台上构建信任

与其学习如何使用和管理针对不同数据集和用例的不同工具，为什么不在同一个数据分析平台上完成数据的所有收集、存储、搜索和分析工作呢？使用 Kibana 来管理您团队的访问权限，在组织内外分享洞察，并连接至其他系统。

3.6.1 控制访问权限

通过 Kibana Spaces 整理您的仪表板和可视化。通过基于角色的访问控制，邀请用户访问某些空间（但不允许访问其他空间），让他们能够查看特定内容并使用特定功能。

3.6.2 确保堆栈的安全

向正确的人员赋予正确的访问权限。集成大量的行业标准身份管理系统。通过 Active Directory、LDAP 或 Elasticsearch 原生 Realm 来进行身份验证。使用单点登录 (SSO) 选项，或者创建自定义 Realm 来支持您自行研发的身份管理系统。

3.6.3 分享与合作

只需选择适合您的分享选项，即可轻松地将 Kibana 可视化分享给您选择的任何人：您的团队成员、您的老板、老板的老板、您的客户、合规经理或承包商。嵌入仪表板，分享链接，或者导出为 PDF、PNG 或 CSV 文件并作为附件发送给别人。

3.6.4 集成其他工具

将 Kibana 连接到其他职场工具，例如事件管理系统（ServiceNow、xMatters）、通知工具（电子邮件、Slack、PagerDuty）等等——可集成工具列表一直在增长。

四：Filebeat

Beats：

轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。

• 从源头采集。简单明了。Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为功能加以部署，然后便可在 Elasticsearch 中集中处理数据。Beats 能够采集符合 Elastic Common Schema (ECS) 要求的数据，如果您希望拥有更加强大的处理能力，Beats 能够将数据转发至 Logstash 进行转换和解析。
• 借助模块加速数据可视化体验 。Filebeat 和 Metricbeat 中包含的一些模块能够简化从云平台、容器和系统以及网络技术等关键数据源收集、解析和可视化信息的过程。只需运行一行命令，即可开始探索。
• 跟踪数据沿袭。Beats 从您的专属环境中收集日志和指标，然后通过来自主机、诸如 Docker 和 Kubernetes 等容器平台以及云服务提供商的必要元数据对这些内容进行记录，然后再传输到 Elastic Stack 中。从监测容器到从无需服务器的架构传输数据，我们确保您拥有所需的上下文。
• 缺少某种采集器？别着急。您可以自行构建并分享。每款开源 Beat 都以 libbeat（转发数据时所用的通用库）为基石。需要监控某个专用协议？自行构建。我们将为您提供所需的构建基块。同时，我们的 Beats 社区正在不断壮大。

Beats 系列：

• Filebeat：用于采集日志和其他数据的轻量型采集器
• Metricbeat：轻量型指标数据采集器
• Packetbeat：轻量型网络数据采集器
• Winlogbeat：轻量型 Windows 事件日志采集器
• Auditbeat：轻量型审计数据采集器
• Heartbeat：用于运行状态监测的轻量型采集器

轻量型日志采集器，无论您是从安全设备、云、容器、主机还是 OT 进行数据收集，Filebeat 都将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。

4.1 汇总、“tail -f”和搜索

启动 Filebeat 后，打开 Logs UI，直接在 Kibana 中观看对您的文件进行 tail 操作的过程。通过搜索栏按照服务、应用、主机、数据中心或者其他条件进行筛选，以跟踪您的全部汇总日志中的异常行为。

4.2 性能稳健，不错过任何检测信号

在任何环境中，始终都会潜伏着应用程序中断的风险。Filebeat 能够读取并转发日志行，并在出现中断的情况下，还会在一切恢复正常后，从中断前停止的位置继续开始。

4.3 Filebeat 让简单的事情简单化

Filebeat 随附可观测性和安全数据源模块，这些模块简化了常见格式的日志的收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将自动默认路径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此，Filebeat 的一些模块还随附了预配置的 Machine Learning 作业。

4.4 容器就绪和云端就绪

正在对所有内容进行容器化，或者正在云端环境中运行？通过 Elastic Stack，可以轻松地监测容器和云服务。在 Kubernetes、Docker 或云端部署中部署 Filebeat，即可获得所有的日志流：信息十分完整，包括日志流的 pod、容器、节点、VM、主机以及自动关联时用到的其他元数据。此外，Beats Autodiscover 功能可检测到新容器，并使用恰当的 Filebeat 模块对这些容器进行自适应监测。

4.5 它不会导致您的管道过载

当将数据发送到 Logstash 或 Elasticsearch 时，Filebeat 使用背压敏感协议，以应对更多的数据量。如果 Logstash 正在忙于处理数据，则会告诉 Filebeat 减慢读取速度。一旦拥堵得到解决，Filebeat 就会恢复到原来的步伐并继续传输数据。

4.6 发送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化。

Filebeat 是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。无论您要使用 Logstash 转换或充实日志和文件，还是在 Elasticsearch 中随意处理一些数据分析，亦或在 Kibana 中构建和分享仪表板，Filebeat 都能轻松地将您的数据发送至最关键的地方。文章来源地址https://www.toymoban.com/news/detail-611073.html

到了这里，关于ELK环境搭建——概况的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！