E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战

这篇具有很好参考价值的文章主要介绍了E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

Elasticsearch在platinum版本中,推出了Cross Cluster Replication特性(以下简称CCR),也即跨集群远程复制。

该特性可以解决两类问题:

1,数据迁移;

2,异地备份。

本文以实战为主,基本概念及原理可参考官网文档。https://www.elastic.co/guide/en/elasticsearch/reference/current/xpack-ccr.html

基本架构

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图1.CCR结构

需要注意的点:

1、CCR是针对索引的主从复制,且复制动作是由从端发起的pull操作;

2、主端索引(即leader index)可以读写,从端索引(follower index)只读;

3、主端索引的属性 index.soft_deletes.enabled 必须为 true(具体原因可参考官方文档)

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-requirements.html#ccr-overview-soft-deletes

4、CCR功能需白金版license。

  实战

1、环境简介

腾讯云大数据 Elasticsearch 6.8.2 白金版 集群 * 2,下面简称为集群A(remote cluster)和集群B(local cluster)

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图2.实战架构图

2、配置

1)配置远端集群数据源

在集群A上执行:

PUT test
{
  "settings": {
    "index.soft_deletes.enabled": true
  }
}

2)在远端集群查询节点transport_address

在集群A上执行:

GET _nodes

结果如下,选取任意一个节点的 transport_address即可

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图3.任意一个节点的transport_ip

3)在本地集群的Kibana上添加远端集群

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图4.添加远端集群

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图5.添加远端集群

如上图,依次操作,在本地集群,也即集群B添加远端集群A。

需要注意,节点IP & PORT需要填写上一步获取到的transport_address。

4)在Kibana部署CCR

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图6.在Kibana部署CCR

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图7.在Kibana部署CCR

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图8.在Kibana部署CCR

如上图,配置好CCR后,可以看到,CCR实例的状态会很快由Paused变为Active。

至此,已完成CCR的基本配置。

3、测试

我们可以使用如下方法测试上面配置的CCR是否生效。

1)在远端集群PUT文档

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图9.在远端集群创建索引

2)在本地集群GET对应索引

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图10.在本地集群,查看索引内容

我们可以通过以上2步看到,远端集群的leader index索引test中的内容,已经通过CCR复制到了本地集群的follower index索引new中。

除创建以外,索引的变更、删除也都同上,此处不再赘述。

那么,我们如果在本地集群修改或删除follower索引,会如何呢?

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图11.修改follower index

为什么会出现无法写入的情况,请参考官方文档,如下图:

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-overview.html

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战,elasticsearch,大数据,腾讯云,搜索引擎,全文检索

图12.follower index无法写入的原因

  总结

以上简单介绍了通过Kibana配置并使用Cross Cluster Replication的方法,实际仍然可以使用RESTFUL API完成所有上述操作,具体可以参考官方文档。有关CCR中,自动生成索引部分,这里也不再展开来讲。

CCR功能的提供,让集群间索引级别的数据复制变得简单。在实际商业应用中,往往是通过CCR将生产环境的数据复制到各个集群,供各业务部门分析使用,既能够满足数据分析需要,也避免了业务分析时因误操作修改了生产数据。文章来源地址https://www.toymoban.com/news/detail-525704.html

到了这里,关于E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 独家特性 | 腾讯云大数据ES:一站式索引全托管,自治索引大揭秘!

    自治索引是腾讯云ES推出的一站式索引全托管解决方案,应用于日志分析、运维监控等时序数据场景,提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等功能。可在降低运维与管理成本的同时,提高使用效率与读写性能。 腾讯云ES团队从大量的运营实践中发

    2023年04月10日
    浏览(41)
  • 腾讯云大数据型CVM服务器实例D3和D2处理器CPU型号说明

    腾讯云服务器CVM大数据型D3和D2处理器型号,大数据型D3云服务器CPU采用2.5GHz Intel® Xeon® Cascade Lake 处理器,大数据型D2云服务器CPU采用2.4GHz Intel® Xeon® Skylake 6148 处理器。腾讯云服务器网分享云服务器CVM大数据型CPU型号、处理器主频性能: 目录 大数据型CVM云服务器CPU处理器大

    2024年02月15日
    浏览(41)
  • Elasticsearch的基础知识和架构设计,以及一些常用的功能——面向对象编程和数据结构的高级应用场景,以及相应的代码实现方法和工具

    作者:禅与计算机程序设计艺术 2019年,Elasticsearch正式发布了7.0版本。在这个版本更新中,新增了许多新特性和功能,包括全文搜索、分类聚合、分析器、图形化数据可视化等。无论对于企业或个人来说,都意味着更好的应用场景。但是,掌握Elasticsearch并非易事,需要不断学

    2024年02月07日
    浏览(35)
  • ElasticSearch的高级聚合功能与示例

    ElasticSearch是一个分布式、实时的搜索和分析引擎,它可以处理大量数据并提供快速、准确的搜索结果。ElasticSearch的聚合功能是其强大的特点之一,可以用于对搜索结果进行统计、分组、排序等操作。在本文中,我们将深入探讨ElasticSearch的高级聚合功能,并通过具体的代码示

    2024年02月21日
    浏览(28)
  • ElasticSearch高级功能详解与原理剖析

    Elasticsearch 5.0后,引入的一种新的节点类型。默认配置下,每个节点都是Ingest Node: 具有预处理数据的能力,可拦截lndex或Bulk API的请求 对数据进行转换,并重新返回给Index或Bulk APl 无需Logstash,就可以进行数据的预处理,例如: 为某个字段设置默认值; 重命名某个字段的字段

    2024年02月05日
    浏览(35)
  • elasticsearch高级功能之跨集群复制CCR

    CCR功能允许用户在不同的Elasticsearch集群之间同步索引数据。这对于实现跨集群复制、数据备份、灾难恢复和多数据中心部署等场景非常有用。 CCR功能提供了实时的、异步的、可靠的跨集群数据同步,能够有效地将变更事件从一个集群复制到另一个集群。通过CCR,用户可以保

    2024年02月16日
    浏览(30)
  • ChatGPT高级数据分析功能

    只需上传数据集,系统即可自动进行分析。我们首先进行了一次测试。准备了一份关于二手车的数据,其格式如下: 接下来调用,GPT中的高级数据分析功能,上传数据,并要求进行分析 第一步:自动对数据字段进行详细的解释: 第二步,对数据进行预处理,比如缺失值,基

    2024年02月07日
    浏览(33)
  • Elasticsearch:跨集群复制应用场景及实操 - Cross Cluster Replication

    通过跨集群复制(Cross Cluster Replication - CCR),你可以跨集群将索引复制并实现: 在数据中心中断时继续处理搜索请求 防止搜索量影响索引吞吐量 通过在距用户较近的地理位置处理搜索请求来减少搜索延迟 跨集群复制采用主动 - 被动模型。 你索引到领导者(leader)索引,并

    2024年02月07日
    浏览(30)
  • Elasticsearch:跨集群复制应用场景及实操 - Cross Cluster Replication 为集群之间建立互信

    通过跨集群复制(Cross Cluster Replication - CCR),你可以跨集群将索引复制并实现: 在数据中心中断时继续处理搜索请求 防止搜索量影响索引吞吐量 通过在距用户较近的地理位置处理搜索请求来减少搜索延迟 跨集群复制采用主动 - 被动模型。 你索引到领导者(leader)索引,并

    2024年02月11日
    浏览(44)
  • 阿里云大数据——搭建企业级数据分析平台

    目录 1、数据分析介绍 1.1数据分析基本介绍 1.2数据分析目的 1.3数据分析平台组成部分 1.4数据分析平台对应的场景 2、阿里云数加介绍 2.1数加是什么? 2.2“数加”是阿里云大数据的核心能力 2.3数加平台发展历程 3、常用的数加产品 3.1数加产品框架图 3.2数据分析平台常用的数

    2023年04月11日
    浏览(78)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包