Elasticsearch性能调优

这篇具有很好参考价值的文章主要介绍了Elasticsearch性能调优。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、修改文件句柄

centos系统默认的是1024个文件句柄。如果文件句柄用完了,这就意味着操作系统会拒绝连接,意味着数据可能丢失,在ElasticSearch大量请求的情况下,1024个文件句柄数量是不够的,可以改成655360。

# 查看文件句柄
ulimit -a | grep "open files"

Elasticsearch性能调优

# 临时修改
ulimit -n 655360
# 永久修改,注销当前用户,重新登录
vim /etc/security/limits.conf
* soft nofile 655360
* hard nofile 655360

Elasticsearch性能调优

二、关闭交换内存

内存交换到磁盘对服务器性能来说是致命的。

# 查看内存信息
free -h

Elasticsearch性能调优

# 临时关闭,重启失效
swapoff -a
# 永久关闭,注释掉交换内存项
vim /etc/fstab

Elasticsearch性能调优

三、修改内核参数

内核参数vm.swappiness控制换出运行时内存的相对权重,参数值大小对如何使用swap分区有很大联系。值越大,表示越积极使用swap分区,越小表示越积极使用物理内存。默认值swappiness=60,表示内存使用率超过100-60=40%时开始使用交换分区。swappiness=0的时候表示最大限度使用物理内存,然后才是 swap空间;swappiness=100的时候表示积极使用swap分区,并把内存上的数据及时搬运到swap空间。注意:Swappiness 设置为1比设置为0要好,因为在一些内核版本,Swappness=0 会引发 OOM内存溢出。

# 查看参数值
cat /proc/sys/vm/swappiness
# 临时修改内核参数
sysctl vm.swappiness = 10
# 永久修改
vim /etc/sysctl.conf
vm.swappiness=10
# 使参数生效
sysctl -p

四、修改JVM内存

官方给出了解决方案,把一半的内存分配给Luence,另外的内存分配给ElasticSearch,老年代和新生代的内存比例为2:1是比较合适的,在ElasticSearce的配置文件jvm.options文件配置。确保 Xmx 和 Xms 的大小是相同的,其目的是为了能够在 Java 垃圾回收机制清理完堆区后不需要重新分隔计算堆区的大小而浪费资源,可以减轻伸缩堆大小带来的压力。

# 配置堆初始化大小
-Xms8g
# 配置堆的最大内存
-Xmx8g
# 配置新生代内存
-Xmn4g

五、合理设置主节点

discovery.zen.minimum_master_nodes设置及其重要,为了防止集群脑裂,这个参数应该设置为法定个数就是:(master候选节点个数/ 2)+1。

# 修改配置文件参数
discovery.zen.minimum_master_nodes:(n/2)+1
# 动态修改
PUT /_cluster/settings
{
   "persistent":{
      "discovery.zen.minimum_master_nodes":(n/2)+1
   }
}

六、剔除高负载主节点

将监控到的高负载节点磁盘IO高的,在elasticsearch.yml中设置node.master=false,然后重启elasticsearch,负载下降了写。

七、角色隔离

ES集群中的数据节点负责对数据进行增、删、改、查和聚合等操作,所以对CPU、内存和I/O的消耗很大。在搭建ES集群时,我们应该对ES集群中的节点进行角色划分和隔离。

候选主节点

node.master=true
node.data=false

数据节点

node.master=false
node.data=true

Elasticsearch性能调优

作者(Author):小强崽
来源(Source):https://www.wuduoqiang.com/archives/Elasticsearch性能调优
协议(License):署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)
版权(Copyright):商业转载请联系作者获得授权,非商业转载请注明出处。 For commercial use, please contact the author for authorization. For non-commercial use, please indicate the source.文章来源地址https://www.toymoban.com/news/detail-407190.html

到了这里,关于Elasticsearch性能调优的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch 性能调优基础知识

    Elastic Stack 已成为监控任何环境或应用程序的实际解决方案。 从日志、指标和正常运行时间到性能监控甚至安全,Elastic Stack 已成为满足几乎所有监控需求的一体化解决方案。 Elasticsearch 通过提供强大的分析引擎来处理任何类型的数据,成为这方面的基石。 Elasticsearch 旨在处

    2024年01月18日
    浏览(39)
  • 修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数

    目录 1.查看当前kafka最大文件句柄数 2.修改supervisord.service 服务配置文件 3.加载配置文件 4.重启supervisord.service服务 5.重启kafka等组件 6.查看修改后最大文件句柄数 7.查看kafka当前使用的文件句柄数 参考:   添加 LimitNOFILE=500000 添加完如下: 在CDH界面重启kafka、zookeeper等组件  

    2024年02月05日
    浏览(38)
  • 性能分析与调优: Linux 使用ELRepo升级CentOS内核

    目录 一、实验 1.环境 2.agent 服务器使用ELRepo升级CentOS内核 二、问题 1. RHEL-7, SL-7 或者 CentOS-7系统如何安装ELRepo 2.RHEL-8或者RHEL-9系统如何安装ELRepo (1)主机 表1-1 主机 主机 架构 组件 IP 备注 prometheus 监测 系统 prometheus、node_exporter  192.168.204.18 grafana 监测GUI grafana 192.168.204.19

    2024年01月23日
    浏览(65)
  • CentOS 7 修改文件最大打开数 - 处理大数据

    CentOS 7 修改文件最大打开数 - 处理大数据 在处理大数据的环境中,经常需要同时打开许多文件。然而,默认情况下,CentOS 7的文件打开数限制可能会成为一个限制因素。为了允许更多的文件同时打开,我们可以通过调整操作系统的文件最大打开数来解决这个问题。本文将详细

    2024年02月02日
    浏览(34)
  • 配置Linux文件句柄数

    查看句柄数 Linux操作系统中文件句柄数的限制默认是1024(一个进程最多可以接受1024个socket连接),在生产环境系统中这是远远不够的,所以很多应用都需要解除文件句柄数的限制。 通过调用ulimit命令可以看到一个进程能够打开的最大文件句柄数量: ulimit命令是用来显示和修

    2024年02月04日
    浏览(73)
  • Spark(30):Spark性能调优之常规性能调优

    目录 0. 相关文章链接 1. 最优资源配置 2. RDD优化 2.1. RDD复用 2.2. RDD持久化 2.3. RDD尽可能早的 filter 操作 3. 并行度调节 4. 广播大变量 5. Kryo序列化 6. 调节本地化等待时长  Spark文章汇总          Spark 性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增

    2024年02月16日
    浏览(60)
  • 记一次奇怪的文件句柄泄露问题

    记录并分享一下最近工作中遇到的 Too many open files 异常的解决过程。 产品有个上传压缩包并导入配置信息到数据库中的功能,主要流程如下: 用户上传压缩包; 后端解压存放在临时目录,并返回列表给用户; 用户选择需要导入哪些信息; 后端按需插入数据库中,完成后删

    2024年02月05日
    浏览(56)
  • Go性能调优及相关工具使用(四)——性能调优工具pprof的使用

    本堂课的知识要点有哪些? 1、性能发现工具pprof 2、性能调优案例 1、性能调优简介 性能调优原则: 要依靠数据不是猜测 要 定位最大瓶颈 而不是细枝末节 不要过早优化 不要过度优化 2、性能发现工具pprof 说明: 1、希望知道应用在什么地方耗费了多少CPU、Memory 2、pprof是用于

    2024年02月08日
    浏览(43)
  • CentOS7里ifcfg-eth0文件不存在解决方案/Centos7修改网络IP解决方案

    就出现了网络配置 BOOTPROTO:ip的配置方法,none/static/bootp/dhcp,引导时不使用协议/静态ip/BOOTP协议/DHCP协议 ONBOOT:系统启动的时候网络接口是否有效 IPADDR:ip地址 GATEWAY:网关 DNS1:域名解析器,和网关的值一样即可 或者

    2024年04月16日
    浏览(38)
  • flink源码分析-获取最大可以打开的文件句柄

    flink版本: flink-1.11.2 代码位置: org.apache.flink.runtime.util.EnvironmentInformation 调用位置:   taskmanager启动类:   org.apache.flink.runtime.taskexecutor.TaskManagerRunner 注意,该方法主要调用了com.sun.management.UnixOperatingSystemMXBean接口下的getMaxFileDescriptorCount方法,所以一定要在Sun/Oracle的JDK下才能使用

    2024年02月10日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包