Elasticsearch在部署时,对Linux的设置有哪些优化方法?

这篇具有很好参考价值的文章主要介绍了Elasticsearch在部署时,对Linux的设置有哪些优化方法?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

部署Elasticsearch时,可以通过优化Linux系统的设置来提升性能和稳定性。以下是一些常见的优化方法:

1.文件描述符限制

Elasticsearch需要大量的文件描述符来处理数据和连接,所以确保调整系统的文件描述符限制。可以通过修改 /etc/security/limits.conf 文件来增加限制,例如:

elasticsearch soft nofile 65536
elasticsearch hard nofile 65536

2.虚拟内存

禁用虚拟内存的交换可以防止系统过度使用磁盘,从而提升性能。可以编辑 /etc/sysctl.conf 文件来禁用交换,如下所示:

vm.swappiness=0

使用sysctl -p命令加载新的设置。

3.内核参数调整

根据Elasticsearch的要求,可以调整内核参数来提高性能,例如:

vm.max_map_count=262144

这可以在/etc/sysctl.conf中进行设置,然后使用sysctl -p命令加载。

4.禁用透明大页面(Transparent Huge Pages)

大页面可以在某些情况下影响Elasticsearch的性能。可以通过以下命令禁用:

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

这些设置也可以在启动脚本中进行配置。

5.禁用THP自动启用

在启动脚本中添加以下环境变量可以确保THP不会在系统重新启动时自动启用:

export ES_HEAP_NEWSIZE=1g
export ES_JAVA_OPTS="-XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -XX:+DisableExplicitGC -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow"
export ES_USE_GC_LOGGING="true"
export ES_GC_LOGGING_OPTS="-XX:+PrintGCDetails -XX:+PrintGCDateStamps"
export ES_PATH_CONF=/path/to/conf
export ES_HOME=/path/to/es
export ES_CLASSPATH=$ES_CLASSPATH:$ES_HOME/lib/sigar/*
export ES_HEAP_SIZE=8g
export ES_HEAP_NEWSIZE=2g
export ES_DIRECT_SIZE=2g
export ES_DIRECT_SIZE=1g
export ES_DIRECT_SIZE=512m
export ES_DIRECT_SIZE=256m

6.优化文件系统

使用XFS或EXT4等现代文件系统,并确保适当地对文件系统进行调优,以适应Elasticsearch的工作负载。可以在格式化文件系统时使用合适的选项,如 noatime。

7.安全设置

配置防火墙和安全组规则,只允许必要的端口和IP地址访问Elasticsearch。这有助于保护集群免受未经授权的访问。

8.监控和日志

设置合适的监控和日志系统,以便能够实时监视Elasticsearch的性能和运行状况,及时发现问题并进行调整。

9.定期维护

定期执行Elasticsearch的维护任务,如清理过期数据、优化索引等,以保持集群的健康状态。

这些是一些常见的优化方法,实际上可能会因系统配置、硬件规格和具体工作负载而有所不同。在应用这些设置之前,建议您详细阅读Elasticsearch的官方文档以了解最新的建议和推荐配置。文章来源地址https://www.toymoban.com/news/detail-651889.html

到了这里,关于Elasticsearch在部署时,对Linux的设置有哪些优化方法?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker部署Elasticsearch集群并开启安全设置

    部署了docker的centos 两或者三台服务器部署elasticsearch ip1、ip2 安装ik分词器 将配置文件copy出来,放在到挂在路径 elasticsearch.yml 替换好新的配置文件 安全性处理:基于上述已经在运行的容器之上,在主机上执行此运行方式即可 获取p12文件 打开安全设置 elasticsearch.yml 开启安全配

    2024年02月09日
    浏览(48)
  • 【ElasticSearch系列-07】ES的开发场景和索引分片的设置及优化

    ElasticSearch系列整体栏目 内容 链接地址 【一】ElasticSearch下载和安装 https://zhenghuisheng.blog.csdn.net/article/details/129260827 【二】ElasticSearch概念和基本操作 https://blog.csdn.net/zhenghuishengq/article/details/134121631 【三】ElasticSearch的高级查询Query DSL https://blog.csdn.net/zhenghuishengq/article/details/1

    2024年02月03日
    浏览(54)
  • ElasticSearch--优化写入速度的方法--修改配置

    原文网址:ElasticSearch--优化写入速度的方法--修改配置_IT利刃出鞘的博客-CSDN博客 说明         本文介绍如何优化ElasticSearch的写入性能。 相关网址 ElasticSearch--写入数据的流程(原理)_IT利刃出鞘的博客-CSDN博客 方案说明         下边的方案,有的比较推荐改动,有的不推荐改

    2024年02月14日
    浏览(37)
  • 深度解析Elasticsearch索引数据量过大的优化与部署策略

    目录 ​​​​​​​ 引言 1. 分片和副本策略 1.1分片策略 1.1.1 数据量 1.1.2 查询和写入负载 1.1.3 硬件资源 1.1.4 高可用性 1.2.副本策略 1.2.1 冗余和可用性 1.2.2 查询性能 1.2.3 存储需求 2. 硬件和资源配置优化 2.1 选择高性能硬件 2.1.1 存储 2.1.2 内存 2.1.3 处理器 2.1.4 网络 2.2. JVM调

    2024年01月19日
    浏览(54)
  • ElasticSearch第一讲 Docker-compose 单机部署Elasticsearch kibana esHead与配置认证证书设置密码

    docker安装 docker-compose安装配置,如果还有没安装docker的可以参考我的docker/docker-compose安装配置 本次讲解的是安装ES 7.13.3 现在目前官网给出的最新ES版本已经是8.x了,ElasticSearch官网:https://www.elastic.co/guide/index.html 好了长话短说,我们直接上docker配置文件,对于一些配置文件和数

    2024年02月03日
    浏览(50)
  • Linux elasticsearch设置为开机自启动服务

    说明: (1)“su es”为切换用户名,“es”为系统新建的用户名 (2)“/usr/local/elasticsearch-6.2.3”为el安装目录 具体el安装流程:请点击这里

    2024年02月13日
    浏览(31)
  • elasticsearch 8.0 linux安装部署

    1. 下载安装包 选择下载linux版本,elasticsearch-8.0.0-linux-x86_64.tar.gz 2. 系统参数修改 limits.conf和sysctl.conf 3. 新建用户 添加用户并设置密码。 如果解压文件是在切换用户以前进行,则可以在创建用户以后,设置目录权限为新建用户。 切换用户名: 4. 解压文件 5. 配置文件elasticse

    2024年02月15日
    浏览(31)
  • Linux服务器部署ElasticSearch

    服务器部署需要openjdk-8u41-b04-linux-x64-14_jan_2020(jdk1.8 64bit) elasticsearch-7.4.0-linux-x86_64.tar.gz、kibana-7.4.0-linux-x86_64.tar.gz 1、cd /usr/local/src 2、上传openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 3、解压tar包 tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 4、配置JAVA_HOME vim /etc/profile 在下方加上如下配置

    2023年04月08日
    浏览(55)
  • Linux学习笔记——ElasticSearch安装部署

    5.6.1、简介 全文搜索属于最常见的需求,开源的ElasticSearch(以下简称es)是目前全文搜索引擎的首选。 它可以快速的储存、搜索和分析海量数据。维基百科、Stack Overflow、GitHub都采用它。 ElasticSearch简称es,在企业内同样是一款应用非常广泛的搜索引擎服务。 很多服务中的搜

    2024年02月09日
    浏览(34)
  • linux部署 ElasticSearch 踩坑记录

    java 环境 :1.8.0-openjdk es版本:   elasticsearch-7.17.3  [1]./elasticsearch-env:行83: /home/es/elasticsearch-7.17.7/jdk/bin/java: 无法执行二进制文件   问题原因: es 的版本与jdk版本不匹配,检查当前es 版本对应的jdk ,然后重新配置环境即可。    查看对应 支持矩阵 | Elastic 解决方案: 升级对

    2024年02月10日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包