Elasticsearch 8.X 性能优化参考 —— 筑梦之路

这篇具有很好参考价值的文章主要介绍了Elasticsearch 8.X 性能优化参考 —— 筑梦之路。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Elasticsearch 是实现用户无缝搜索体验的关键工具。它通过提供快速、准确和相关的搜索结果,彻底改变了用户与应用程序的互动方式。然而,要确保 Elasticsearch 部署达到最佳性能,就必须关注关键指标,并对诸如索引、缓存、查询、搜索以及存储等各种组件进行优化。

通用优化

 1. 选用合适的硬件配置

Elasticsearch是一个内存密集型应用程序,因此使用足够内存的硬件非常重要。此外,建议使用固态硬盘(SSD)作为存储设备,因为它们可以显著提高索引和搜索性能。

尽管 SSD 的 I/O 性能优于传统硬盘,但如果 Elasticsearch 集群中的节点数量较多,I/O 性能仍然可能成为瓶颈。为了保证性能,可以采取一些优化措施,如使用 RAID 配置、合理的磁盘划分和负载均衡等。

RAID级别 优点 缺点 适用场景
RAID 0 高I/O性能,实现并行读写 无冗余,磁盘故障可能导致数据丢失 性能敏感型应用,可接受数据恢复时间
RAID 1 数据冗余,磁盘故障时数据不丢失 写入性能不如RAID 0 数据安全性和可靠性较高的应用
RAID 5 数据冗余,一定程度的I/O性能优势 写入性能不如RAID 0 需要在性能和数据安全性之间取得平衡的应用
RAID 10 结合RAID 0和RAID 1的优点,高I/O性能和数据冗余 需要更多磁盘,成本较高 既需要保证性能又需要保证数据安全性的应用

 2. 规划索引策略

Elasticsearch设计用于处理大量数据,但需要考虑如何索引这些数据。这包括需要多少分片和副本,数据将如何索引,以及如何处理更新和删除。

1)分片数量

选择合适数量的分片以实现水平扩展和负载均衡。

默认情况下,每个索引有 1 个主分片。根据数据量和节点数量调整分片数量。尽量避免使用过多分片,因为每个分片都需要额外的资源和开销。

2)副本数量

增加副本数量以提高搜索性能和系统容错能力,但要辩证看,后文会详细解读。

默认情况下,每个分片有 1 个副本。根据负载和可用性需求调整副本数量。

3) 数据索引策略 

使用基于时间的索引生命周期管理策略(ILM)以提高查询性能和降低资源消耗。例如,为每天、每周或每月的数据创建一个新索引。

选择合适的字段类型和分析器。优化映射以减少存储空间和提高查询性能。

使用 Index Templates 自动应用映射和设置。

4) 更新和删除处理

使用 Update API 更新文档,避免删除和重新索引整个文档。

合理使用 Elasticsearch 的版本控制特性。

考虑使用 Index Lifecycle Management (ILM) 自动管理索引的生命周期。根据具体业务需求和场景,灵活调整上述建议以优化 Elasticsearch 集群性能

3. 优化查询

Elasticsearch是一个功能强大的搜索引擎,但要确保查询性能优化。这包括尽可能使用过滤器而不是查询,并使用分页限制返回结果的数量。 

1) 使用过滤器而不是查询

  • 提高查询速度:过滤器不计算相关性得分。

  • 结果可被缓存:相同过滤条件直接获取结果。

 2) 使用分页限制返回结果数量

  • 降低计算和传输负担:提高查询性能。

  • 注意深度分页可能导致性能问题:考虑使用 search_after 参数。

4. 保持Elasticsearch版本更新

Elasticsearch是一个活跃的项目,定期发布新版本以修复错误并提供新功能。保持版本更新至关重要,以利用这些改进并避免已知问题。 

5. 做好监控

Elasticsearch 提供了各种监控工具,如Elasticsearch Head、Kibana monitoring(优先推荐)插件,可用于监控集群的健康和性能。需要密切关注磁盘使用情况、CPU和内存使用情况以及搜索请求的数量。 

写入(索引化)优化建议 

1. 使用批量请求

Elasticsearch的批量API允许在单个API调用中执行多个索引/删除操作。这大大提高了索引速度。如果请求中的一个失败,顶层错误标志将设置为true,并在相关请求下报告错误详细信息。 

 使用 Elasticsearch 的批量 API 的原因:

  1. 提高性能

减少网络开销和连接建立时间,提高索引速度。

      2. 减少资源消耗

降低服务器和客户端资源消耗,提高系统效率和吞吐量。

      3. 错误处理

灵活且可控的错误处理方式,即使部分操作失败,其他操作仍可继续执行。

使用批量 API 可实现高效的数据索引和删除操作,同时提高系统的稳定性和可靠性。

 2. 使用多线程客户端索引数据

单个线程发送批量请求无法充分利用Elasticsearch集群的索引能力。

通过多线程或多进程发送数据,将有助于利用集群的所有资源,降低每个fsync的成本,提高性能。

3. 增加刷新间隔(index.refresh_interval)

Elasticsearch中默认的刷新间隔为1秒,但如果搜索流量很小,可以增加此值以优化索引速度。 

4. 使用自动生成的ID

在索引具有显式ID的文档时,Elasticsearch需要检查是否已经存在具有相同ID的文档,这是一项代价高昂的操作。

使用自动生成的ID可以跳过此检查,使索引更快。

 

5. index.translog.sync_interval

此设置控制translog何时提交到磁盘,无论写操作如何。默认值为5秒,但不允许使用小于100毫秒的值。

官方文档地址:

https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-translog.html

6. 避免大型文档

大型文档会给网络、内存使用和磁盘带来压力,导致索引速度缓慢,影响邻近搜索和高亮显示。

高亮处理推荐 fvh 高亮方式

 7. 显式设置映射

Elasticsearch可以动态创建映射,但并不适用于所有场景。显式设置(strict)映射将有助于确保最佳性能。

Elasticsearch 8.X 性能优化参考 —— 筑梦之路 

显式设置映射的优势

  1. 准确的字段类型

确保查询和聚合操作正确性。

     2.优化存储和性能

降低存储空间,提高查询性能。

     3.避免不必要的映射更新

减少映射更新操作和性能开销。

8. 避免使用嵌套Nested类型

 

虽然嵌套类型在某些场景下很有用,但它们也带来了一定的性能影响:

  1. 查询速度较慢

与查询非嵌套文档中的普通字段相比,查询嵌套字段速度较慢。

这是因为嵌套字段的查询需要执行额外的处理步骤,例如过滤器和关联。这可能导致较低的查询性能,特别是在处理大量数据时。

     2. 额外的减速

在检索匹配嵌套字段的文档时,Elasticsearch 需要对嵌套层文档进行关联。这意味着它需要将嵌套文档与其外层文档匹配,以确定哪些文档实际上包含匹配的嵌套字段。这个过程可能导致额外的性能开销,尤其是在查询结果集很大时。

为了避免嵌套类型带来的性能影响,可以考虑使用以下方法:

  • 扁平化数据结构(俗成大宽表):尽可能将嵌套字段转换为扁平化的数据结构,例如使用多个普通字段表示原本的嵌套字段。

  • 使用关键词类型(keyword类型):对于具有固定集合值的字段,可以使用关键词类型进行索引,以提高查询速度。

  • 使用 join 类型(父子关联类型):在某些场景下,可以使用 join 类型替代嵌套类型。

但请注意,join 类型也可能导致性能问题,尤其是在需要频繁修改文档关系时。

 查询和搜索优化建议

1. 尽可能使用 filter 而不是 query

  • query 子句用于回答“这个文档与这个子句的匹配程度如何?

  • filter(过滤器)子句用于回答“这个文档是否与这个子句匹配?” Elasticsearch只需要回答“是”或“否”。它不需要为过滤器子句计算相关性得分,而且过滤器结果可以被缓存

2. 增加刷新间隔

增加刷新间隔有助于减少段数量,降低搜索的IO成本。

而且,一旦刷新发生并且数据发生变化,缓存就会失效。增加刷新间隔可以使Elasticsearch更有效地利用缓存

3. 辩证的看待增加副本数量对检索性能的影响

 直接给出企业级测试结论——副本数对检索性能的影响非正相关。也就是说:不是副本越多,检索性能越高。

增加副本数量的优势

  1. 负载均衡

分散查询请求负载,实现负载均衡。

     2.高可用性

提高集群的可用性和容错能力。

     3.并行处理

加快查询速度,提高吞吐量。

注意:增加副本数量会消耗额外的存储空间和计算资源。需根据需求和资源限制权衡副本数量。

4. 仅检索必要字段

如果文档很大,且仅需要几个字段,请使用stored_fields仅检索所需字段,而不是所有字段。 

5. 避免通配符查询

通配符查询可能会很慢且耗资源。最好尽量避免使用它们。

替代方案:Ngram分词、设置 wildcard 数据类型。

6. 使用节点查询缓存

过滤器上下文中使用的查询结果将缓存在节点查询缓存中,以便快速查找。

过滤器上下文查询结果缓存的优势

  1. 缓存命中率

过滤器查询具有较高的缓存命中率,常在多个查询中重复使用。

    2.节省计算资源

缓存结果减少重复计算,节省资源。

   3.提高查询速度

缓存加速查询,特别是复杂或数据量大的过滤器查询。

   4.并发查询效果更好

节点查询缓存在高并发场景下发挥作用,提高性能。

注意:需平衡缓存使用与内存消耗。对于频繁变更或低缓存命中率的查询,缓存效果可能有限。

 7. 使用分片查询缓存

可以通过将“index.requests.cache.enable”设置为true来启用分片查询缓存。

设置参考如下:

PUT /my-index-000001
{
  "settings": {
    "index.requests.cache.enable": false
  }
}

8. 使用索引模板

 索引模板可以帮助自动将设置和映射应用于新索引

Elasticsearch 8.X 性能优化参考 —— 筑梦之路

使用索引模板的优势

  1. 一致性

确保新索引具有相同的设置和映射,实现集群一致性。

     2.简化操作

自动应用预定义的设置和映射,减少手动配置。

     3.易于扩展

快速创建具有相同配置的新索引,便于集群扩展。

    4.版本控制和更新

实现模板版本控制,确保新索引使用最新配置。

性能优化建议

 1. 活动分片应与CPU成比例

活动分片=主分片+副本分片数之和。

活动分片与 CPU 成比例的原因

  1. 并行处理

更多活动分片提高并行处理能力,加速查询和索引请求。与 CPU 核心数成比例确保充分利用 CPU 资源。

    2. 避免资源竞争

将活动分片与 CPU 核心数成比例,避免多分片竞争同一 CPU 核心,提高性能。

    3.负载均衡

成比例的活动分片数有助于在多节点间分散请求,避免单节点资源瓶颈。

    4.性能优化

与 CPU 核心数成比例的分片数根据可用计算资源为分片分配处理能力,优化查询和索引操作。

注意:实际部署需考虑其他因素,如内存、磁盘和网络资源等。

如前所述,为了提高写入密集型用例的性能,应将刷新间隔增加到较大的值(例如,30秒),并增加主分片以将写请求分发到不同节点。对于读取密集型用例,增加副本分片以在副本之间平衡查询/搜索请求会有所帮助。

2. 如果查询具有日期范围 filter 过滤器,请按日期组织数据

对于日志或监控场景,按每日、每周或每月组织索引并按指定日期范围获取索引列表可以提高性能

Elasticsearch只需要查询较小的数据集,而不是整个数据集,而且在数据过期时缩小/删除旧索引会很容易。

负面案例:之前有客户超大规模(100TB)以上的数据没有日期格式字段或者出现字段格式不规范的问题。

3. 如果查询具有过滤字段且其值可枚举,则将数据分割成多个索引

如果我们的查询中包含可枚举的过滤字段(例如,地区),则可以通过将数据分割成多个索引来提高查询性能。

例如,如果数据包含来自美国、欧洲和其他地区的记录,并且经常使用“region”过滤查询,那么可以将数据分割成三个索引,每个索引包含一组地区的数据。

这样,当执行带有过滤子句“region”的查询时,Elasticsearch 只需要在包含该地区数据的索引中搜索,从而提高查询性能。

其他建议

1.  索引状态管理

定义自定义管理策略以自动执行常规任务,并将其应用于索引和索引模式。例如,可以定义一项策略,使索引在30天后进入只读状态,然后在90天后将其删除。

ILM(索引生命周期管理)是 Elasticsearch 的一项功能,可自动化索引的管理和维护,具有以下好处:

  • 简化索引管理:自动化索引的生命周期管理,包括索引的创建、更新、删除和存档,减轻管理员的负担。

  • 提高性能:自动优化索引设置,包括调整分片大小、缩小索引和删除过期数据等,有助于提高查询性能和减少存储空间的使用。

  • 降低成本:自动归档和删除过期数据,降低存储成本,减少管理员的工作量和时间成本。

  • 更好的可扩展性:根据需要自动调整索引设置和存储策略,使索引更好地适应不断增长和变化的数据。

使用 ILM 可以让索引管理变得更简单、更可靠。

  1. 干货 | Elasticsearch 索引生命周期管理 ILM 实战指南

  2. Elasticsearch ILM 索引生命周期管理常见坑及避坑指南

2.  快照生命周期管理

SLM(快照生命周期管理)是 Elasticsearch 的一项功能,可自动化快照的管理和维护,具有以下好处:

  • 简化快照管理:自动化快照的生命周期管理,包括创建、管理、删除和清理快照,减轻管理员的负担。

  • 提高效率:自动化快照的创建、管理、删除和清理,提高管理效率。

  • 减少存储成本:自动删除无用的快照,降低存储成本。

  • 更好的可扩展性:根据需要自动调整快照设置和存储策略,使快照更好地适应不断增长和变化的数据。

使用 SLM 可以让快照管理变得更简单、更可靠,提高管理效率和降低存储成本。

3. 用好监控

为了监视Elasticsearch集群的性能并检测任何潜在问题,应该定期跟踪以下指标

  • 集群健康状况节点和分片:监控集群中节点的数量以及分片及其分布。

  • 搜索性能:请求延迟和速率 - 跟踪搜索请求的延迟以及每秒搜索请求的数量。

  • 索引性能:刷新时间和合并时间 - 监控刷新索引所需的时间以及合并段所需的时间。

  • 节点利用率:线程池 - 监控每个节点上线程池的使用情况,例如索引池。

总结

遵循这些最佳实践,可以确保Elasticsearch部署性能高、可靠且可扩展。

请记住,Elasticsearch是一个功能强大的搜索和分析引擎,可以快速并近乎实时地处理大量数据,但是要充分利用它,需要计划、优化和监控部署。

以上建议仅供参考,实操环节以 Elasticsearch 官方文档和自己集群的性能测试结论为准。没有普适的优化建议,只有适合自己的优化才是最好的优化。文章来源地址https://www.toymoban.com/news/detail-494434.html

到了这里,关于Elasticsearch 8.X 性能优化参考 —— 筑梦之路的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • elasticsearch snapshot快照指定多个索引并行备份——筑梦之路

    Curl 命令方式对elasticsearch备份和恢复—— 筑梦之路_筑梦之路的博客-CSDN博客 之前也写过使用API请求的方式对ES数据进行快照方式备份,这里主要对之前的内容进行完善和补充。 快照包含构成索引的磁盘上数据结构的副本。这意味着快照只能还原为可以读取索引的 Elasticsearc

    2024年02月11日
    浏览(42)
  • elasticsearch snapshot快照备份到minio对象存储S3 —— 筑梦之路

    minio 最新版 elasticsearch 7.9 访问minio web:http://ip:9001 ,创建用户和桶,示例如下: 参考:elasticsearch snapshot快照指定多个索引并行备份——筑梦之路_筑梦之路的博客-CSDN博客

    2024年02月09日
    浏览(38)
  • docker-compose搭建elasticsearch 8.6.0集群 —— 筑梦之路

    docker-compose.yml es1.yml es2.yml es3.yml kibana.yml 参考资料: docker-compose 搭建elasticsearch 集群及kibana - 简书 更新_Docker安装ElasticSearch8.6.0 Docker安装ElasticSearch8.6.0

    2024年02月13日
    浏览(38)
  • 网络通讯组件性能优化之路

    BIO为同步阻塞IO,blocking queue的简写,也就是说多线程情况下只有一个线程操作内核的queue,当前线程操作完queue后,才能给下一个线程操作; 问题 在BIO下,一个连接就对应一个线程,如果连接特别多的情况下,就会有特别多的线程,很费线程;在早期的时候,世界上的计算机

    2024年02月02日
    浏览(50)
  • MySQL夯实之路-查询性能优化深入浅出

    explain;show status查看服务器状态信息 减少子任务,减少子任务执行次数,减少子任务执行时间( 优,少,快 ) 1.访问了太多的行和列:确认应用程序是否在检索大量超过需要的数据。这通常意味着访问了太多的行,但有时候也可能是访问了太多的列。 2.分析了太多的数据

    2024年01月21日
    浏览(55)
  • GPU推理服务性能优化之路 | 得物技术

    随着CV算法在业务场景中使用越来越多,给我们带来了新的挑战,需要提升Python推理服务的性能以降低生产环境成本。为此我们深入去研究Python GPU推理服务的工作原理,推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离,2.使用TensorRT对模型进行加速,

    2023年04月23日
    浏览(52)
  • 字节跳动 ByteHouse 云原生之路 – 计算存储分离与性能优化

    01 起源 ByteHouse 的故事从字节跳动对于先进数据处理和分析的需求开始,这一需求随着公司业务规模的迅速扩张而日益增长,起源是对开源数据库管理系统 ClickHouse 的改造和增强。面对数据处理的高延迟、大规模数据操作的复杂性以及数据存储和处理成本的上升,字节跳动的

    2024年01月21日
    浏览(43)
  • 助力成长的开源项目 —— 筑梦之路

    免费的闯关式 SQL 自学教程网站,从 0 到 1 带大家掌握常用 SQL 语法,目前一共有 30 多个关卡,希望你在通关的时候,变身为一个 SQL 高手。除了闯关模式之外,这个项目支持自由选择关卡、自定义关卡、SQL 在线练习广场等功能,方便自由地查漏补缺。 GitHub 地址→GitHub - li

    2024年02月03日
    浏览(41)
  • 【优化技术专题】「性能优化系列」针对Java对象压缩及序列化技术的探索之路

    序列化和反序列化 序列化就是指把对象转换为字节码; 对象传递和保存时,保证对象的完整性和可传递性。把对象转换为有字节码,以便在网络上传输或保存在本地文件中; 反序列化就是指把字节码恢复为对象; 根据字节流中保存的对象状态及描述信息,通过反序列化重建

    2024年01月22日
    浏览(57)
  • SecDevOps 相关知识了解学习 —— 筑梦之路

    SecDevOps指的是将安全实践整合到DevOps流程中。它强调了软件开发人员、IT安全团队和运营人员之间的合作、沟通和自动化的重要性,以确保安全性融入软件开发生命周期。 通过采用SecDevOps方法,组织可以在开发过程的早期阶段解决安全风险。这可以导致更快的交付安全的软件

    2024年02月09日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包