elasticsearch单机多节点集群搭建

这篇具有很好参考价值的文章主要介绍了elasticsearch单机多节点集群搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

elasticsearch单机多节点集群搭建

elasticsearch7开始不支持单机多节点部署

环境准备

  1. centos服务器两台:10.188.131.247、10.20.148.122

  2. elasticsearch-6.8.23、kibana-6.8.23安装包下载(下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch)

  3. 新增es用户(elasticsearch不能用root用户启动)

    groupadd es
    useradd -g es -m es
    passwd es
    

集群搭建

  1. 集群概览:3个master节点,3个数据节点

    服务器 节点名称 是否为主节点 是否为数据节点
    10.20.148.122 node-1 true true
    10.20.148.122 node-2 true true
    10.20.148.122 node-3 true true
  2. 解压elasticsearch-6.8.23.tar.gz

    tar -zxvf elasticsearch-6.8.23.tar.gz
    mv elasticsearch-6.8.23 elasticsearch
    
  3. 复制为node-1

    cp -r elasticsearch node-1
    # 创建数据储存目录
    cd node-1
    mkdir -p data
    # 创建日志储存目录
    mkdir -p logs
    # 创建归档目录
    mkdir -p es_snapshot
    
  4. 配置elasticsearch.yml(以node-1节点为例)

    vim /home/es/node-1/config/elasticsearch.yml
    

    注意:每个配置项冒号后面需要空一格,否则启动会报错

    #集群的名称,不同的节点通过相同集群名称来组装集群
    cluster.name: es-cluster-122
    #节点名称,每个节点配置不同名称
    node.name: node-1
    #是否主节点
    node.master: true
    #是否数据节点        
    node.data: true
    #单机最大节点数          
    node.max_local_storage_nodes: 3
    #索引数据的存储路径
    path.data: /data2/es/node-1/data
    #日志文件的存储路径
    path.logs: /data2/es/node-1/logs
    #绑定的ip地址
    network.host: 10.20.148.122
    #设置对外服务的http端口,默认为9200
    http.port: 9200
    #设置节点间交互的tcp端口,默认是9300 
    transport.tcp.port: 9300
    transport.tcp.compress: true
    #设置集群中节点的初始列表,可以通过这些节点来自动发现新加入集群的节点
    discovery.zen.ping.unicast.hosts: ["10.20.148.122:9300", "10.20.148.122:9301","10.20.148.122:9302"]
    #防止脑裂现象,如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 这将导致数据丢失当节点<=2时设置为1,>2时官方的推荐值是(N/2)+1
    discovery.zen.minimum_master_nodes: 2
    #启动时锁定内存,设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的,当jvm开始swapping时es的效率会降低,所以要保证它不swap
    bootstrap.memory_lock: true
    bootstrap.system_call_filter: false
    #========使用head插件的时候需要添加这3个配置========
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
    #action.destructive_requires_name: true
    #防止同一个shard的主副本存在同一个物理机上
    cluster.routing.allocation.same_shard.host: true
    #es 归档仓库路径
    path.repo: ["/data2/es/node-1/es_snapshot"]
    thread_pool.write.queue_size: 8192
    
  5. 创建node-2、node3节点

    cp -r node-1 node-2
    cp -r node-1 node-3
    

    node-2,node-3节点配置与node-1类似,修改node.name、path.data、path.log、http.port、transport.tcp.port、path.repo等配置为对应值即可
    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

  6. 如果内存空间不足,需修改jvm.options中配置

    vim /home/es/node-1/config/jvm.options 
    #默认是1g官方建议对jvm进行一些修改,不然很容易出现OOM,参考官网改参数配置最好不要超过内存的50% 
    -Xms750m
    -Xmx750m
    
  7. 启动各个节点

    #!/bin/bash
    WORKDIR=$(dirname $0)
    
    nohup $WORKDIR/node-1/bin/elasticsearch -d 2>&1 &
    nohup $WORKDIR/node-2/bin/elasticsearch -d 2>&1 &
    nohup $WORKDIR/node-3/bin/elasticsearch -d 2>&1 &
    

    如果出现

    OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
    

    解决办法是修改jvm.options文件配置vim /home/es/node-1/config/jvm.options,将

    -XX:+UseConcMarkSweepGC 改为 -XX:+UseG1GC
    
  8. 查看节点情况

    curl -XGET 'http://10.20.148.122:9200/_cat/nodes?pretty'
    curl -XGET 'http://10.20.148.122:9200/_cat/health?v'
    

    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

kibana可视化平台

  1. 解压kibana-6.8.23-linux-x86_64.tar.gz

    tar -zxvf kibana-6.8.23-linux-x86_64.tar.gz
    mv kibana-6.8.23-linux-x86_64.tar.gz kibana
    
  2. 配置kibana.yml

    cd kibana/config/
    vim kibana.yml
    # 修改端口
    server.port: 5601
    # 修改IP
    server.host: "10.188.131.247"
    # 修改监控的es集群地址
    elasticsearch.hosts: ["http://10.20.148.122:9200"]
    
  3. 启动

    cd kibana/bin/
    nohup ./kibana &
    
    # 查看进程
    lsof -i:5601/netstat -tunlp|grep 5601
    

    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

  4. 可视化

    http://10.188.131.247:5601/
    

    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

    elasticsearch 单机多节点,elasticsearch,大数据,搜索引擎

文章来源地址https://www.toymoban.com/news/detail-527523.html

到了这里,关于elasticsearch单机多节点集群搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 搜索引擎elasticsearch :安装elasticsearch (包含安装组件kibana、IK分词器、部署es集群)

    kibana可以帮助我们方便地编写DSL语句,所以还要装kibana 因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络: 这里我们采用elasticsearch的7.12.1版本的镜像,这个镜像体积非常大,接近1G。不建议大家自己pull。 课前资料提供了镜像的tar包: 大家将

    2024年02月16日
    浏览(58)
  • Elasticsearch集群搭建、数据分片以及位置坐标实现附近的人搜索

    es使用两种不同的方式来发现对方: 广播 单播 也可以同时使用两者,但默认的广播,单播需要已知节点列表来完成 当es实例启动的时候,它发送了广播的ping请求到地址 224.2.2.4:54328 。而其他的es实例使用同样的集群名称响应了这个请求。 一般这个默认的集群名称就是上面的

    2024年02月06日
    浏览(51)
  • 文件搜索引擎的搭建Elasticsearch+Fscrawler+SearchUI+Git+Nginx

    搭建一套文档搜索引擎。有时候,我们有一批文档,需要在这批文档中查找想要的内容,此时想要找到文档里面的内容就变的很麻烦。本文将介绍如何搭建一套文档搜索引擎。 一台Cenos 7.x 的服务器 支持Docker NodeJs环境 支持nodejs和npm 安装命令 支持git命令 如下服务均搭建在同

    2024年02月10日
    浏览(48)
  • CentOS7下安装ElasticSearch7.6.1详细教程(单机、集群搭建)

    CentOS 7下安装ElasticSearch7.6.1详细教程 ElasticSearch客户端Kibana7.6.1安装教程 ElasticSearch分词器IK安装教程 Elasticsearch-head插件安装教程 想要学习ElasticSearch技术,需要在服务器搭建ElasticSearch环境。 CenOS:7; JDK:1.8; Elasticsearch:7.6.1; ES不能使用root用户来启动,必须使用普通用户来

    2023年04月09日
    浏览(55)
  • ElasticSearch搜索引擎:数据的写入流程

    (1)ES 客户端选择一个节点 node 发送请求过去,这个节点就是协调节点 coordinating node  (2)协调节点对 document 进行路由,通过 hash 算法计算出数据应该落在哪个分片 shard 上,然后根据节点上维护的 shard 信息,将请求转发到对应的实际处理节点node上 shard = hash(document_id) %

    2023年04月14日
    浏览(68)
  • Linux搭建ElasticSearch单节点及集群

    1.虚拟机CentOS7.6 2.elasticsearch7.8.0:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 将tar包解压到指定目录 1.Linux环境安装了jdk的,会和es自带jdk冲突,需要指定使用自带jdk,修改es的bin目录下elasticsearch如下: 2.如果机器内存不够用,需要调小启动内存,在es的config目录下

    2024年02月16日
    浏览(41)
  • 服务搭建篇(七) Elasticsearch单节点部署以及多节点集群部署

    感兴趣的话大家可以关注一下公众号 : 猿人刘先生 , 欢迎大家一起学习 , 一起进步 , 一起来交流吧! Elasticsearch(简称ES) 是一个分布式 , RESTful风格的搜索和数据分析引擎 , 使用java开发并且是当前最流行的开源的企业级搜索引擎,能够达到近实时搜索,稳定,可靠,快速,安装使

    2024年02月03日
    浏览(63)
  • Elasticsearch7搭建集群并配置节点证书

    Elasticsearch7搭建集群并配置节点证书 | 帅大叔的博客 单机版比较简单,试下集群版的,资源有限,本文例子:一台主机以不同端口启动搭建集群。 环境说明: Centos7 Elasticsearch7.9.0 准备搭建3个节点 一、下载ES安装包 去官网下载 下载地址: Download Elasticsearch | Elastic 历史版本:

    2024年02月12日
    浏览(55)
  • Elasticsearch8 集群搭建(二)配置篇:(1)节点和集群配置

    安装完Elasticsearch后,需要对其进行配置,包括以下几部分:节点和集群配置、系统配置、安全配置。 此篇记录节点和集群配置的内容,后续将更新系统配置和安全配置。 通过编辑/usr/local/elasticsearch-8.10.2/config/elasticsearch.yml文件进行配置,在集群内每个节点上都要进行配置。

    2024年01月18日
    浏览(39)
  • 搜索引擎(大数据检索)论述[elasticsearch原理相关]

    首先需要大致知道搜索引擎有大致几类:1.全文搜索引擎 2.垂直搜索引擎 3.类目搜索引擎等。 1.全文搜索引擎:是全文本覆盖的,百度,google等都是全文本搜索,就是我搜一个词项“方圆”,那么这个词项可以是数字平方的概念,可以是一个人名,可以是一首歌等,所有的相

    2023年04月08日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包