【elasticsearch】elasticsearch7.x集群搭建

这篇具有很好参考价值的文章主要介绍了【elasticsearch】elasticsearch7.x集群搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、服务器情况

二、安装前准备

1、下载es

2、配置服务器免密登录

3、升级jdk

三、安装es集群

(一)master服务器的操作

1、将es上传到Linux并解压

2、创建数据、日志存储文件夹

3、配置config/elasticsearch.yml

4、配置jvm

5、创建es用户

6、赋权限

7、修改配置文件

8、启动服务

9、启动验证

 (二)slaves服务器的操作

四、遇到的问题


一、服务器情况

        这里使用三台服务器,安装部署es集群。其中安装的es7.9.0版本需要jdk11。这里在centos7服务器上安装。

服务器 安装es版本 jdk版本 linux系统
master 7.9.0 11 Centos7
slaves1 7.9.0 11 Centos7
slaves2 7.9.0 11 Centos7

二、安装前准备

1、下载es

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.0-linux-x86_64.tar.gz

官网也可以其他版本下载:Download Elasticsearch | Elastic

2、配置服务器免密登录

        Linux_SSH免密登录

3、升级jdk

        jdk11下载地址:https://repo.huaweicloud.com/java/jdk/11+28/jdk-11_linux-x64_bin.tar.gz

# 编辑文件
vim /etc/profile

# 配置内容
export JAVA_HOME=/usr/lib/jvm/jdk-11
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 保存
source /etc/profile

三、安装es集群

(一)master服务器的操作

1、将es上传到Linux并解压

        将下载好的es上传到Linux的/opt/softWare/estacsearch文件夹下并解压:

tar -zxvf elasticsearch-7.9.0-linux-x86_64.tar.gz

解压之后的文件夹为:elasticsearch-7.9.0

【elasticsearch】elasticsearch7.x集群搭建

2、创建数据、日志存储文件夹

        在Linux的/opt/softWare/estacsearch文件夹下创建数据和日志存储文件夹:

mkdir logs

mkdir data

3、配置config/elasticsearch.yml

# 集群名称
cluster.name: my-application

# 节点名称,仅仅是描述名称,用于在日志中区分
node.name: node-1
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
# 数据的存放路径
path.data: /opt/softWare/elasticsearch/data
# 日志的存放路径
path.logs: /opt/softWare/elasticsearch/logs
# 当前节点的IP地址
network.host: 192.168.xxx.xxx
# 对外提供服务的端口,9300为集群服务的端口
http.port: 9200

transport.tcp.port: 9300
transport.tcp.compress: true
# 集群每个节点IP地址。
discovery.seed_hosts: ["192.168.xxx.xxx:9300", "192.168.xxx.xxx:9300","192.168.xxx.xxx:9300"]
#es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
# 为了避免脑裂,集群节点数最少为 半数+1
discovery.zen.minimum_master_nodes: 2
#只要指定数量的节点加入集群,就开始进行恢复
gateway.recover_after_nodes: 2
gateway.recover_after_time: 5m
#要求必须有多少个节点在集群中,当加入集群中的节点数量达到这个期望数值之后,每个node的local shard的恢复就会理解开始,默认的值是0,也就是不会做任何的等待
gateway.expected_nodes: 2
#查询结果在分片上找到的条目超过了限定的10000个,官网限制在10000是为了其性能考虑的。需要调大search.max_buckets这个参数。
search.max_buckets: 90000000
#es的查询参数限制,默认是限制只能传入1024个参数
indices.query.bool.max_clause_count: 10240
#将阻止主副本分片被分配到同一台物理机,提高可用性。
cluster.routing.allocation.same_shard.host: true

#ES默认开启了内存地址锁定,为了避免内存交换提高性能。但是Centos6不支持SecComp功能,启动会报错,Centos7支持
bootstrap.memory_lock: true
#设置是否压缩tcp传输时的数据,默认为false,不压缩。 
#transport.tcp.compress: true
# 是否支持跨域
http.cors.enabled: true
# *表示支持所有域名
http.cors.allow-origin: "*"

4、配置jvm

        配置config/jvm.options文件,一般默认。也可以根据物理内存的实际情况设置,一般设置物理内存的一半。如果太小会导致Elasticsearch刚刚启动就立刻停止。太大会拖慢系统本身。

-Xms2g
-Xmx2g

5、创建es用户

        由于安全的考虑,elasticsearch不允许使用root用户来启动,所以需要创建一个新的用户,并为这个账户赋予相应的权限来启动elasticsearch集群。创建的时候要在root用户下创建。

useradd elk

6、赋权限

        将es安装目录赋予创建的新用户权限。这里data和logs都在安装目录下,可以直接对一个目录赋权限。如果日志和数据目录在其他位置也要单独赋权限。

chown -R elk:elk /opt/softWare/elasticsearch

7、修改配置文件

vim /etc/sysctl.conf


vm.max_map_count=655360   #末尾添加一行 

#保存加载参数

sysctl -p文章来源地址https://www.toymoban.com/news/detail-408106.html

8、启动服务

        先切换到elk目录下:

su elk

        再进入bin目录下启动es

./elasticsearch

        也可后台启动

nohup ./elasticsearch &

9、启动验证

http://192.168.xxx.xx:9200/

【elasticsearch】elasticsearch7.x集群搭建

 (二)slaves服务器的操作

        slaves1和slaves2的操作步骤基本和master上的操作一样,唯一不同的就是config/elasticsearch.yml里面的几个配置项。

        三台机器不同配置项如下,其他配置项都相同。

node.name: node-1      #master
node.name: node-2      #slaves1
node.name: node-3      #slaves2

network.host: 192.168.xxx.xxx    #master的ip
network.host: 192.168.xxx.xxx    #slaves1的ip
network.host: 192.168.xxx.xxx    #slaves2的ip

四、遇到的问题

问题一:进程内存锁定失败

ERROR: [1] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is not locked

解决办法:修改/etc/security/limits.conf文的件内容,取消限制

elk soft memklock unlimited
elk hard memlock unlimited

注意:这里的elk为自己创建的es用户。

问题二:

[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]

解决办法:编辑 /etc/security/limits.conf,追加以下内容:

* soft nofile 65536
* hard nofile 65536

问题三:

[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决办法:编辑 /etc/sysctl.conf,追加以下内容:

vm.max_map_count=655360

保存后执行:

sysctl -p

到了这里,关于【elasticsearch】elasticsearch7.x集群搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch7.3.0 集群搭建及配置安全认证

    注: 由于是测试,搭建的环境就在一台机器上(操作系统是 CentOS 7) 配置 Elasticsearch Elasticsearch 的配置文件是 elasticsearch/elasticsearch.yml 集群的名称 配置集群的名称,所有的node节点集群名称要一致 节点的名称 配置每个节点的名称,节点的名称要在集群中唯一 索引文件的存储位置 默认

    2023年04月13日
    浏览(53)
  • CentOS7下安装ElasticSearch7.6.1详细教程(单机、集群搭建)

    CentOS 7下安装ElasticSearch7.6.1详细教程 ElasticSearch客户端Kibana7.6.1安装教程 ElasticSearch分词器IK安装教程 Elasticsearch-head插件安装教程 想要学习ElasticSearch技术,需要在服务器搭建ElasticSearch环境。 CenOS:7; JDK:1.8; Elasticsearch:7.6.1; ES不能使用root用户来启动,必须使用普通用户来

    2023年04月09日
    浏览(41)
  • Elasticsearch7.8.1集群安装手册

    elasticsearch集群规划为三个节点,elasticsearch版本为7.8.1 1)下载 Elasticsearch7.8.1安装包 3.1 解压 3.2 修改配置 1)jvm.options调整内存大小 2)修改elasticsearch.yml 集群规划为三个节点,三个节点的配置,只有node.name: es-node1 不同,请分别配置 具体配置如下 3.3 创建用户 3.4.1 排错 3.4.2 后

    2024年02月08日
    浏览(44)
  • elasticsearch7.7集群部署以及密码认证

    1.1 elasticsearch 部署 1.1.1 安装jdk 略 1.1.2 安装准备 1、安装用户用elastic用户 2、创建相关目录及授权 [root@es-node1 ~]# chown -R elastic: elastic/data [root@es-node1 ~]# chmod -R 775 /data 3、root用户编辑 /etc/security/limits.conf,追加以下内容; soft nofile 65536 hard nofile 65536 soft nproc 2048 hard nproc 4096 4、

    2024年02月03日
    浏览(40)
  • Elasticsearch基础篇(三):Elasticsearch7.x的集群部署

    Elasticsearch集群是一个强大的搜索和分析引擎,由多个节点组成,每个节点都是一个独立的Elasticsearch实例。这些节点协同工作,共同构建一个高度可用和可扩展的搜索引擎。本文将深入探讨Elasticsearch集群的架构和部署,包括主节点、数据节点、客户端节点、分片以及节点间的

    2024年02月05日
    浏览(44)
  • docker部署Elasticsearch7.17集群和kibana

    环境准备: 3台centos7.9的服务器 vim /etc/sysctl.conf添加:vm.max_map_count=262144 sysctl -w vm.max_map_count=262144 即时生效 cat /proc/sys/vm/max_map_count 查看 #创建es配置目录 mkdir /home/es/config -p #创建es数据目录 mkdir /home/es/data #创建es插件目录 mkdir /home/es/plugins #授权目录 chmod -R 777 /home/es 在/home/e

    2024年02月10日
    浏览(39)
  • 离线安装Elasticsearch7.15.1集群(使用内置jdk)

    背景: 以192.168.50.210、192.168.50.211、192.168.50.212这三台机器为例,进行相关的配置 而我本地的jdk是1.8的,已经不符合要求了。但项目中没有那么高版本的jdk,也只想用1.8版本的,只是es用自己内置的jdk而已。 ES安装 1.下载相应的包文件 https://www.elastic.co/cn/downloads/elasticsearch 2.解

    2024年02月16日
    浏览(27)
  • centos7.6部署ELK集群(一)之elasticsearch7.7.0集群部署

    32.3. 部署es7.7.0 32.3.1. 下载es(各节点都做) wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-linux-x86_64.tar.gz 32.3.2. 解压至安装目录(各节点都做) tar -xvf elasticsearch-7.7.0-linux-x86_64.tar.gz -C /vmdata/ 32.3.3. 创建es用户并设置密码(各节点都做) ES 7.x 开始不再允许以任何方

    2023年04月17日
    浏览(31)
  • 五-1、elasticsearch集群搭建(ES集群搭建)

    es下载地址 这里我下载的是 集群搭建方法 上传方式有两种 第一种:使用xftp上传 直接拖动过去就可以了。 第二种:使用lrzsz 先安装 切换到要上传的位置 输入命令 选择你要上传的文件 等待上传完成即可 ①解压到指定目录下 ②修改/config下的elasticsearch.yml 加入如下配置 原来

    2023年04月22日
    浏览(42)
  • 【Elasticsearch】Elasticsearch集群搭建详细手册

    1.1.资源准备 服务器 192.168.X.26 192.168.X.25 192.168.X.24 安装包 elasticsearch-6.8.10.tar.gz 防火墙 所有服务器均开通9200,9300端口 1.2.安装组件 第一步:创建es安装目录 第二步:上传安装包到soft目录下 第三步:解压安装包 注意:当前步骤每台服务器均相同!!! 1.3.修改配置 节点1、节点

    2024年01月22日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包