1、引言
本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。
这是系列文章的第二篇，主要探讨：Elasitcsearch CPU 使用率突然飙升，怎么办？
2、Elasticsearch 高CPU 使用率的内涵
线上环境 Elasticsearch CPU 使用率飙升常见问题如下：
——来自《死磕Elasticsearch 知识星球》
Elasticsearch 使用线程池来管理并发操作的 CPU 资源。
关于线程池和队列，推荐阅读：Elasticsearch 线程池和队列问题，请先看这一篇。
Elasticsearch 高 CPU 使用率通常意味着一个或多个线程池不足以支撑业务需求。
如果线程池资源耗尽，Elasticsearch 将拒绝与线程池相关的请求。
例如，如果搜索线程池（search thread pool）耗尽，Elasticsearch 将拒绝搜索请求，直到有更多线程可用。
上图更直观的解释了线程池、队列、客户端请求之间的关系，拿检索线程为例：
当请求比较少时，线程池完全可以处理过来；
当前再多一些时，需要线程池队列排队；
如果请求再多，就超出了线程池和队列的最大负载，导致
异常报错。
3、诊断 Elasticsearch 高 CPU 使用率
3.1 核查 CPU 使用率
使用 cat nodes API 获取每个节点的当前 CPU 使用率。
GET _cat/nodes?v=true&s=cpu:desc返回结果：
如上所示，CPU 即为 cpu 使用率，name 为节点的名称。
也可以借助 Kibana Stack Monitoring 进行可视化监控，CPU 监控如下红圈所示：
3.2 核查热点线程
如果某个节点的 CPU 使用率很高，请使用节点热点线程 API 检查该节点上运行的资源密集型线程。
GET _nodes/my-node,my-other-node/hot_threads此 API 以纯文本形式返回任何热点线程的细节。
4、降低 CPU 使用率的实操方案
以下 Tips 概述了 CPU 使用率高的最常见原因及其解决方案。
4.1 扩展集群
繁重的数据写入（indexing）和搜索负载会耗尽较小的线程池。
为了更好地处理繁重的工作负载，向集群添加更多节点或升级（扩容）现有节点以增加容量。
4.2 分散批量请求
批量请求虽然比单个请求效率更高，但大型批量写入或多搜索请求需要大量 CPU 资源。
如果可能，提交较小的请求并在它们之间留出更多时间。
这里的较小有多小？需要结合业务实际、结合线程池和队列大小不断调出最优值。
4.3 取消长时间运行的搜索
长时间运行的搜索会阻塞搜索线程池中的线程。
要检查这些搜索，请使用任务管理 API。
GET _tasks?actions=*search&detailed上述命令行响应的描述包含检索请求及其查询细节，其中：running_time_in_nanos 显示搜索运行了多长时间。
{
"nodes" : {
"oTUltX4IQMOUUVeiohTt8A" : {
"name" : "my-node",
"transport_address" : "127.0.0.1:9300",
"host" : "127.0.0.1",
"ip" : "127.0.0.1:9300",
"tasks" : {
"oTUltX4IQMOUUVeiohTt8A:464" : {
"node" : "oTUltX4IQMOUUVeiohTt8A",
"id" : 464,
"type" : "transport",
"action" : "indices:data/read/search",
"description" : "indices[my-index], search_type[QUERY_THEN_FETCH], source[{\"query\":...}]",
"start_time_in_millis" : 4081771730000,
"running_time_in_nanos" : 13991383,
"cancellable" : true
}
}
}
}
}可以使用 _cancel API 取消任务以释放资源：
POST _tasks/oTUltX4IQMOUUVeiohTt8A:464/_cancel4.4 避免耗费资源的搜索
举例：前缀匹配的 wildcard 查询、多重聚合或分桶设置过大的单重聚合都会非常耗费资源。
避免策略包含但不限于：
避免脚本
script检索。少使用：
fuzzy、regexp、prefix、wildcard检索避免将
range检索应用到text和keyword类型。避免多表关联
Join类型。使用
index.max_result_window索引设置降低大小限制。使用
search.max_buckets集群设置降低允许的聚合桶的最大数量。使用
search.allow_expensive_queries集群设置禁用耗费资源的查询。
5、小结
建议提前做好集群监控和指标预警工作，“防范于未然”，结合节点的 CPU 核数最大化的提升线程池和队列的使用率。
你在实战环节有没有遇到高 CPU 利用率问题？你是如何解决的呢？欢迎留言交流细节。
和你一起，死磕 Elasticsearch！
参考
1. https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html#query-dsl-allow-expensive-queries
2. https://www.elastic.co/guide/en/elasticsearch/reference/current/fix-common-cluster-issues.html#avoid-expensive-searches
3. https://www.elastic.co/guide/en/elasticsearch/reference/current/fix-common-cluster-issues.html 4. https://qbox.io/blog/thread-pools-elasticsearch-search-request-errors/
推荐
1、重磅 | 死磕 Elasticsearch 方法论认知清单（2021年国庆更新版）
2、Elasticsearch 7.X 进阶实战私训课（口碑不错）
3、如何系统的学习 Elasticsearch ？
4、Elasticsearch 磁盘使用率超过警戒水位线，怎么办？
更短时间更快习得更多干货！
已带领88位球友通过 Elastic 官方认证！
文章来源：https://www.toymoban.com/news/detail-453374.html
比同事抢先一步学习进阶干货！文章来源地址https://www.toymoban.com/news/detail-453374.html
到了这里，关于Elasitcsearch CPU 使用率突然飙升，怎么办？的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
