Es三节点+vip集群搭建部署方案

这篇具有很好参考价值的文章主要介绍了Es三节点+vip集群搭建部署方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

线上环境Es三节点集群搭建部署方案

1. 目标

  1. Es 集群架构图

!Es三节点+vip集群搭建部署方案,elasticsearch,jenkins,大数据

2. 搭建步骤

  • 官网教程: https://elasticsearch.bookhub.tech/set_up_elasticsearch/installing_elasticsearch/
  1. 确定 Es 安装目录

机器名 内网IP Es 版本 重点目录
es-node01 192.18.233.240 7.15.1 安装目录: /home/work/elasticsearch/ 数据目录: /mnt/es/esdata 快照仓库: /mnt/es/snapshot 日志目录: /mnt/logs/eslogs
es-node02 192.18.233.229
es-node03 192.18.233.230
  1. 下载地址

  • es下载:
    • https://mirrors.huaweicloud.com/elasticsearch/
    • 目前Es8.x 处于开发阶段, 目前最新的稳定版本是 Elasticsearch 7.15.1
      • https://mirrors.huaweicloud.com/elasticsearch/7.15.1/elasticsearch-7.15.1-linux-x86_64.tar.gz
  • kibana下载:
    • https://mirrors.huaweicloud.com/kibana/
  1. 下载安装

# 下载,解压即可
cd /home/work/elasticsearch
wget https://mirrors.huaweicloud.com/elasticsearch/7.15.1/elasticsearch-7.15.1-linux-x86_64.tar.gz
# 解压
tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz
  • 解压后的文件目录结构
    • Es三节点+vip集群搭建部署方案,elasticsearch,jenkins,大数据
  1. 初始化Es用户

#创建账号esadmin
useradd esadmin

#初始化密码
passwd esadmin
es1#user

#对esadmin授权目录
chown -R esadmin /home/work/elasticsearch/
chown -R esadmin /mnt/es/esdata
chown -R esadmin /mnt/logs/eslogs
chown -R esadmin /mnt/es/snapshot

chmod 777 /home/work/
  1. 修改Es配置文件(必要的重点设置项)

  • 官方参考:
    • https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/
    • 重点配置设置:
      • https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/import_elasticsearch_configuration
      • 在生产中,我们强烈建议你设置 elasticsearch.yml 中的 path.datapath.logs$ES_HOME 之外的位置。
      • 断路器设置: https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/circuit_breaker_settings
    • Elasticsearch有三个配置文件:(这些文件位于 config 目录中)
      • elasticsearch.yml 用于配置 Elasticsearch
      • jvm.options 用于配置 Elasticsearch JVM 设置
      • log4j2.properties 用于配置 Elasticsearch 日志记录
  • 示例如下: 以 node01(192.18.233.240) 为例,其他节点中可以直接复用这个配置,只修改
    • node.name 值即可。

    • elasticsearch.yml

      • # 备份默认的配置文件
        mv elasticsearch.yml elasticsearch.yml-bak
        # 编辑一个新文件
        vi elasticsearch.yml
        
        # 集群名
        cluster.name: es-cluster-prod
        # 节点名称
        node.name: es-node01
        
        ## 下面的配置项其他节点都统一内容##
        
        # HTTP端口
        http.port: 9200
        # Transport TCP端口
        transport.tcp.port: 9300
        
        # 数据存储路径
        path.data: /mnt/es/esdata
        # 设置快照仓库目录
        path.repo: ["/mnt/es/snapshot"]
        # 日志存储路径(将影响默认的执行日志,gc日志,致命错误日志的输出目录)
        path.logs: /mnt/logs/eslogs
        
        # 监听地址
        network.host: 0.0.0.0
        # 设置提供群集中其他节点的列表,这些节点具有选主资格
        discovery.seed_hosts: ["172.18.233.240:9300", "172.18.233.229:9300", "172.18.233.230:9300"]
        # 初始主节点列表
        cluster.initial_master_nodes: ["es-node01", "es-node02", "es-node03"]
        
        # 每隔多长时间ping一个node
        discovery.zen.fd.ping_interval: 30s
        # 每次ping的超时时间
        discovery.zen.fd.ping_timeout: 120s
        # 一个node被ping多少次失败就认为是故障了
        discovery.zen.fd.ping_retries: 6
        
        # 集群脑裂问题参数配置
        # elasticsearch则可以配置返回消息的节点数量, 一般情况下会配置(n/2 + 1)个节点
        # 注意:discovery.zen.minimum_master_nodes 已经在Elasticsearch 7.x中被废弃
        # 请使用 cluster.initial_master_nodes 参数来指定初始主节点列表
        
        # 节点角色设置(默认就是启用的)
        node.ingest: true
        
        # HTTP跨域设置
        http.cors.enabled: true
        http.cors.allow-origin: "*"
        
    • vi jvm.options

      • 官方建议: 默认情况下,Elasticsearch 根据节点的角色和总内存自动设置 JVM 堆大小。我们建议大多数生产环境使用默认大小。
      • cp jvm.options jvm.options-bak
        
        vim jvm.options
        # 限制最大堆3GB
        -Xms3g
        -Xmx3g
        
        # 默认的HeapDumpPath是输出到安装目录的,因此可以修改。
        -XX:HeapDumpPath=/mnt/logs/eslogs/heapdump
        
        # 致命错误日志
        #-XX:ErrorFile=logs/hs_err_pid%p.log
        -XX:ErrorFile=/mnt/logs/eslogs/hs_err_pid%p.log
        
        # JDK 8 GC 日志
        #8:-Xloggc:logs/gc.log
        8:-Xloggc:/mnt/logs/eslogs/gc.log
        
        # JDK 9 GC 日志
        # 将 file=logs/gc.log 改成 file=/mnt/logs/eslogs/gc.log
        #9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
        9-:-Xlog:gc*,gc+age=trace,safepoint:file=/mnt/logs/eslogs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
        
  1. 修改系统设置

  2. 在 /etc/sysctl.conf 中添加

# 临时设置临时增加 vm.max_map_count 参数的值:
sysctl -w vm.max_map_count=262144

# 永久设置
vim /etc/sysctl.conf 
vm.max_map_count=655360

# 保存后执行这个生效
sysctl -p
  1. 修改 /etc/security/limits.conf
vim /etc/security/limits.conf

esadmin  soft nofile 65536
esadmin  hard nofile 131072
esadmin  soft nproc 4096
esadmin  hard nproc 4096

# 保存退出后,重新登录 esadmin 用户检查效果
 ulimit -a 
  1. 启动

# 进入安装目录
cd /home/work/elasticsearch/elasticsearch-7.15.1/bin

#切换账号
su esadmin

#后台启动命令
./elasticsearch -d

# 启动成功后,验证
curl 
  • 如果用 esadmin 用户启动时报错 AccessDeniedException: /home/work/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.keystore 。 这个是因为 elasticsearch.keystore 文件默认是启动后才创建的,因此重新设置下文件权限即可
    • sudo chmod -R 755 /home/work/elasticsearch/elasticsearch-7.15.1/config/
      
  • 如果启动时报错提示 could not find java in bundled JDK at xxxx
    • 解决方案1: elasticsearch 7系列版本以上都是自带的jdk,可以在es的bin目录下找到 elasticsearch-env.bat 这个文件,配置es的jdk。官方推荐使用es自带的jdk。
      • warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME

      • sudo vi /etc/profile
        export ES_JAVA_HOME=/home/work/elasticsearch/elasticsearch-7.15.1/jdk
        source /etc/profile
        
    • 解决方案2: 使用系统安装的JDK
    • 首先,确认已经安装了 Java。可以通过运行以下命令来检查 Java 是否已经安装:
      java -version
      如果 Java 尚未安装,请使用以下命令安装 OpenJDK:
      sudo yum install java-1.8.0-openjdk-devel
      
      打开终端,并使用以下命令编辑 /etc/profile 文件:
      sudo vi /etc/profile
      
      在文件的末尾添加以下行,设置 JAVA_HOME 环境变量:
      
      export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
      export PATH=$PATH:$JAVA_HOME/bin
      
      # 保存并关闭文件。然后,运行以下命令使更改生效:
      source /etc/profile
      最后,可以通过运行以下命令来验证 JAVA_HOME 是否已正确设置:
      echo $JAVA_HOME
      
  • 三个节点都启动后,检查搭建结果
    • [root@iZwz9iqrw0w0p7ry2a8597Z ~]#
      [root@iZwz9iqrw0w0p7ry2a8597Z ~]# curl -XGET 'localhost:9200/_cat/health?v&pretty'
      epoch      timestamp cluster         status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
      1701780738 12:52:18  es-cluster-prod green           3         3      2   1    0    0        0             0                  -                100.0%
      
      [root@iZwz9iqrw0w0p7ry2a8597Z ~]# curl -XGET 'localhost:9200/_cat/nodes?v&pretty'
      ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
      172.18.233.229            6          87   5    0.07    0.27     0.21 cdfhilmrstw -      es-node02
      172.18.233.230            7          86   4    0.05    0.21     0.19 cdfhilmrstw -      es-node03
      172.18.233.240           23          60   4    0.03    0.19     0.17 cdfhilmrstw *      es-node01
      
  1. 阿里云内网SLB配置

  2. 创建一个内网SLB

  3. 配置SLB,指向我们部署的三个ES服务节点

  4. 微服务直接使用内网SLB的域名来代理ES的访问

附录

  1. 日常运维注意

  2. 关于数据目录的管理

    1. 不要修改数据目录中的任何内容或运行可能会干扰其内容的进程。如果 Elasticsearch 以外的其他内容修改了数据目录的内容,则 Elasticsearch 可能会失败,报告损坏或其他数据不一致,或者可能在默默丢失部分数据后正常工作。不要尝试对数据目录进行文件系统备份;不支持还原此类备份的方法。相反,请使用快照和还原来安全地进行备份。不要在数据目录上运行病毒扫描程序。病毒扫描程序可能会阻止 Elasticsearch 正常工作,并可能会修改数据目录的内容。数据目录不包含可执行文件,因此病毒扫描只会发现误报。

  3. 多数据路径在 7.13 中已被弃用,并将在未来版本中删除。文章来源地址https://www.toymoban.com/news/detail-765874.html

    1. 如果需要额外的磁盘空间,建议你添加新节点,而不是其他数据路径。

到了这里,关于Es三节点+vip集群搭建部署方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch+Kibana集群部署(3节点)

    l i n d o r − − 良民笔记 lindor--良民笔记 l in d or − − 良民笔记 前言    仅作为笔记并记录elk搭建过程和搭建中遇到的问题, 转载请注明出处 ,目前该章节只讲述了 elasticsearch+Kibana 的安装过程,以及安装中的一些简单报错;适合有适当基础的同学,理论表的比较少。 ‍

    2024年02月09日
    浏览(51)
  • Linux搭建ElasticSearch单节点及集群

    1.虚拟机CentOS7.6 2.elasticsearch7.8.0:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 将tar包解压到指定目录 1.Linux环境安装了jdk的,会和es自带jdk冲突,需要指定使用自带jdk,修改es的bin目录下elasticsearch如下: 2.如果机器内存不够用,需要调小启动内存,在es的config目录下

    2024年02月16日
    浏览(37)
  • Elasticsearch7搭建集群并配置节点证书

    Elasticsearch7搭建集群并配置节点证书 | 帅大叔的博客 单机版比较简单,试下集群版的,资源有限,本文例子:一台主机以不同端口启动搭建集群。 环境说明: Centos7 Elasticsearch7.9.0 准备搭建3个节点 一、下载ES安装包 去官网下载 下载地址: Download Elasticsearch | Elastic 历史版本:

    2024年02月12日
    浏览(52)
  • 五-1、elasticsearch集群搭建(ES集群搭建)

    es下载地址 这里我下载的是 集群搭建方法 上传方式有两种 第一种:使用xftp上传 直接拖动过去就可以了。 第二种:使用lrzsz 先安装 切换到要上传的位置 输入命令 选择你要上传的文件 等待上传完成即可 ①解压到指定目录下 ②修改/config下的elasticsearch.yml 加入如下配置 原来

    2023年04月22日
    浏览(50)
  • Elasticsearch8 集群搭建(二)配置篇:(1)节点和集群配置

    安装完Elasticsearch后,需要对其进行配置,包括以下几部分:节点和集群配置、系统配置、安全配置。 此篇记录节点和集群配置的内容,后续将更新系统配置和安全配置。 通过编辑/usr/local/elasticsearch-8.10.2/config/elasticsearch.yml文件进行配置,在集群内每个节点上都要进行配置。

    2024年01月18日
    浏览(38)
  • docker容器中快速部署ES集群的详细操作步骤(6个节点)

    ElasticSearch集群 1.集群原理 ElasticSearch是天生支持集群的,他不需要依赖其他的服务发现和注册的组件,如zookeeper这些,因为他内置了一个名字叫ZenDiscovery的模块,是ElasticSearch自己实现的一套用于节点发现和选主等功能的组件,所以ElasticSearch做起集群来非常简单,不需要太多

    2024年02月09日
    浏览(51)
  • 用docker-compose部署Rabbitmq三节点集群部署方案

    主机名 IP node1 10.4.2.10 node2 10.4.2.59 node3 10.4.2.134 (1) 在/root目录下先创建一个rabitmq目录用于存放文件 mkdir  rabitmq (2)修改主机名和域名解析hosts文件 (1)修改主机名 hostnamectl set-hostname  node1    hostnamectl set-hostname  node2 hostnamectl set-hostname  node3 node1  node2   node3 分别对应

    2024年02月04日
    浏览(47)
  • ES(ElasticSearch)快速入门和集群搭建

    ​ ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用kibana来测试,目的是对ES的使用方法及流程有个初步的认识。 创建index 索引库。包含若干相似结构的 Document 数据,相当于数据库的database。 语法: PUT /index_name 如: number_of_shards - 表示一个索引

    2024年02月07日
    浏览(52)
  • 【ElasticSearch】ES集群搭建、监控、故障转移

    单机的ES做数据存储与搜索,必然面临两个问题: 海量数据存储问题 单点故障问题 因此,考虑使用ES集群: 海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard),存储到多个节点。如此,ES的存储能力就是所有节点存储能力的总和 单点故障问题:将分片数据 在不同

    2024年02月16日
    浏览(60)
  • 袁庭新ES系列14节 | 搭建Elasticsearch集群

    单节点的Elasticsearch需要在处理大量数据的时候需要消耗大量内存和CPU资源,数据量大到一定程度就会产生处理瓶颈,甚至会出现宕机。 为了解决单节点ES的处理能力的瓶颈及单节点故障问题,我们考虑使用Elasticsearch集群。接下来袁老师带领大家学习如何搭建Elasticsearch的集群

    2024年04月17日
    浏览(113)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包