Elasticsearch 和数据架构：改进分析和存储的 4 个基本工具-Toy模板网

这篇具有很好参考价值的文章主要介绍了Elasticsearch 和数据架构：改进分析和存储的 4 个基本工具。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

作者：Emily McAlister

Elasticsearch 和数据架构：改进分析和存储的 4 个基本工具,Elasticsearch,Elastic,elasticsearch,架构,大数据,全文检索,搜索引擎,数据库

组织越来越依赖数据来做出有效的、基于证据的决策来推动业务成果。无论是评估市场状况和改善客户体验、确保应用程序正常运行时间还是保护组织安全，来自多个来源（包括消费者和内部系统）的数据对于日常运营都至关重要。

这种数据驱动的方法要求组织快速收集、存储和分析大量数据，以便及时做出决策。通常，这意味着大规模地跨多个来源和不同复杂程度的格式进行关联和分析。

Elasticsearch® 提供了摄取、存储和搜索这些数据集的可扩展性和灵活性，以便从业务、可观察性和安全角度找到相关且可操作的见解。然而，随着越来越多的数据被摄取，如果不考虑利用 Elasticsearch 平台实现的数据架构和结构，它可能会变得笨重且昂贵。

使用 Elastic 解决常见数据挑战

作为一名 Elastic 顾问，我帮助许多客户加入多个数据源，这些数据源经过转换和关联，为业务决策、平台可用性和安全性提供支持。以下是我帮助组织解决的一些挑战，特别是那些拥有多种数据源的挑战：

按数据源对摄取量进行归因：如果没有适当的标签/标记策略和执行，这可能会很棘手。
跨多个数据源的分析和关联：由于每个数据集中存在冲突的字段名称（例如，host_name、host.name、name），这通常很困难。
存储成本：有时我会发现由于索引设计和对所摄取数据源的理解不周，导致无法利用存储分层。有时我还发现客户不知道新的、节省成本的功能。

数据架构的开发和文档化通过组织内数据源的规划和设计来解决上述挑战。数据架构详细介绍了如何收集、处理和存储数据以供组织内的系统和人员使用的策略和标准。一旦定义完毕，以下四种工具可用于使用 Elastic Stack 在技术层解决这些挑战。

Elasticsearch 和数据架构：改进分析和存储的 4 个基本工具,Elasticsearch,Elastic,elasticsearch,架构,大数据,全文检索,搜索引擎,数据库

1. 标记和标签

Agent、Beats 和 Logstash® 等 Elastic Stack 摄取工具都提供添加自定义标记和标签的功能，使每个文档在存储在 Elasticsearch 中后可以轻松识别。与组织的数据架构保持一致的标记或标签标准可以清晰地说明如何处理数据源。

通过过滤特定标签来快速分离数据源，可以准确、快速地识别数据源。这减少了重要数据管理所需的时间，例如容量规划、分析摄取量或在索引之间迁移数据源。

对于在多个团队之间共享 Elastic 部署的某些客户，可以使用符合特定消费者群体的标准轻松报告退款/许可证消耗数据的归属。在高级情况下，标记和标签还可用于支持基于角色的访问控制的文档级安全性。

使用标记和标签标准还可以减少为跨多个数据源的应用程序或系统开发可视化和执行调查活动的时间。

2. Elastic 通用模式

如果跨数据源的字段命名不一致，则跨数据集的关联会变得更加复杂。这种不一致可能会导致跨多个字段的复杂查询，这些字段都表示相同的信息（例如，host.name: "serverA" 或 host_name: "serverA" 或 name: "serverA"）。

Elastic Common Schema (ECS) 提供了在 Elasticsearch 中存储基于事件的数据的标准蓝图。默认情况下，Elastic 的集成和摄取工具（Agent、Beats 和 Logstash）遵循此标准，以跨多个数据源提供一致的字段名称和数据类型。这使得你可以轻松查询所有数据，从而使组织能够利用预构建的开箱即用仪表板和我们的一站式解决方案，例如 Elastic Observability 和 Elastic Security。

ECS 补充了组织的数据架构，并且可以作为基础层来协助捕获每个数据源的一组通用标准字段，从而回答 “这个源为我提供了哪些数据？” 的问题。

事实上，ECS 已被 OpenTelemetry 项目接受，使用户在日志记录、分布式跟踪、指标和安全事件方面受益。

了解有关 Elastic Common Schema 优势的更多信息。