elasticsearch高级功能之跨集群复制CCR

这篇具有很好参考价值的文章主要介绍了elasticsearch高级功能之跨集群复制CCR。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

CCR的作用(Cross-Cluster Replication,跨集群复制)

  1. CCR功能允许用户在不同的Elasticsearch集群之间同步索引数据。这对于实现跨集群复制、数据备份、灾难恢复和多数据中心部署等场景非常有用。
  2. CCR功能提供了实时的、异步的、可靠的跨集群数据同步,能够有效地将变更事件从一个集群复制到另一个集群。通过CCR,用户可以保持多个集群之间的数据一致性,并实现将数据从生产集群复制到用于查询和分析的目标集群。

常用的场景

1.异地容灾备份:CCR 可以将数据从一个集群复制到另一个位于不同地理位置的集群,实现数据的异地容灾备份。这样,即使源集群发生故障或不可用,目标集群仍能提供服务,保证数据的可用性。

2.跨数据中心复制:当在全球范围内部署 Elasticsearch 集群时,CCR 可以实现跨不同数据中心之间的数据复制,以便在不同地理区域提供快速的访问,减少网络延迟。

3.数据分析和报告:CCR 可以将源集群中的生产数据复制到专门用于数据分析和报告的目标集群中。这样,可以在不影响生产环境的情况下,对数据进行分析、数据挖掘和生成报告。

4.多数据中心协作:对于分布在多个数据中心的不同团队或应用程序,CCR 可以确保他们之间的数据同步。这使得不同的团队或应用程序能够共享和协作处理数据。

5.灾难恢复:CCR 在灾难恢复方面也发挥着重要作用,允许在一个 Elasticsearch 集群发生完全故障时,快速恢复到另一个复制的集群上,确保业务的连续性。

总体上支持单向复制,双向复制,应用容灾等,功能十分强大。

如何使用

具体参照官网:链接: Use cross-cluster replication.
简单来说就是在源端集群创建引导索引(Leader Index),在目标集群创建跟随索引(Follower Index),让目标集群索引订阅源端索引并关联源端集群信息,这样当源端索引发生CDC(Change Data Capture),也就是文档的增加、修改、删除时,能快速同步到目标端的各个索引分片上。

工作原理

1.Leader-Follower 架构:CCR 使用 Leader-Follower 架构来实现数据的复制。在 CCR 中,预导索引(Leader Index)充当主索引,接收所有的写操作。而跟随索引(Follower Index)则是从预导索引复制数据的副本,是只读的。

2.复制操作:CCR 会从预导索引中捕获并复制所有的索引、更新和删除操作。这些操作会以批量的形式进行复制,并按照同样的顺序在跟随索引上执行。这样可以确保跟随索引与预导索引保持一致,并保持数据的可靠性与一致性。

3.异步复制:CCR 的数据复制是异步的,因此跟随索引的更新可能存在一定的延迟。这个延迟取决于网络延迟、索引大小和复制速度等因素。Elasticsearch 提供了监控指标和接口来跟踪复制进度和延迟,以便可视化监控和调优。

4.重试和冲突解决:如果复制操作在跟随索引上失败,CCR 会进行重试,直到成功为止。此外,如果预导索引和跟随索引之间存在冲突(如更新操作导致的冲突),CCR 会使用乐观并发控制技术来解决冲突,以确保数据的一致性。

5.连接和安全性:CCR 需要在源集群和目标集群之间建立连接。这包括配置安全密钥、HTTPS 证书和网络连接等。确保网络和安全设置正确配置非常重要,以保证复制操作的顺利进行和数据的安全性。

未完待续…………文章来源地址https://www.toymoban.com/news/detail-579573.html

源码分析

github地址: CCR.

未完待续…………

到了这里,关于elasticsearch高级功能之跨集群复制CCR的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch的高级聚合功能与示例

    ElasticSearch是一个分布式、实时的搜索和分析引擎,它可以处理大量数据并提供快速、准确的搜索结果。ElasticSearch的聚合功能是其强大的特点之一,可以用于对搜索结果进行统计、分组、排序等操作。在本文中,我们将深入探讨ElasticSearch的高级聚合功能,并通过具体的代码示

    2024年02月21日
    浏览(44)
  • ElasticSearch高级功能详解与原理剖析

    Elasticsearch 5.0后,引入的一种新的节点类型。默认配置下,每个节点都是Ingest Node: 具有预处理数据的能力,可拦截lndex或Bulk API的请求 对数据进行转换,并重新返回给Index或Bulk APl 无需Logstash,就可以进行数据的预处理,例如: 为某个字段设置默认值; 重命名某个字段的字段

    2024年02月05日
    浏览(46)
  • INFINI Labs 产品更新 | Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等

    INFINI Labs 产品重量级更新!!!本次更新了很多亮点功能,如 Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等;支持多集群、跨版本的搜索基础设施统一管控平台 Console 新增了免费授权申请功能等。欢迎大家下载使用。 Console 在线体验:http://demo.infini.clou

    2024年02月08日
    浏览(58)
  • E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战

    前言 Elasticsearch在platinum版本中,推出了Cross Cluster Replication特性(以下简称CCR),也即跨集群远程复制。 该特性可以解决两类问题: 1,数据迁移; 2,异地备份。 本文以实战为主,基本概念及原理可参考官网文档。 https://www.elastic.co/guide/en/elasticsearch/reference/current/xpack-ccr.h

    2024年02月12日
    浏览(65)
  • Es elasticsearch 十九 kibana 可视化配置图表 及功能 集群部署

    目录 Es kibana 可视化 下载zip 解压  bin/kibana.bat 启动 管理索引管理 吧logstash 存进来的数据 按照 xxx-* 方式 保存索引模式 通过 discove 配置可视化界面 图表数据实时刷新 时序图配置 饼图配置 表格数据配置 添加仪表盘 图表样例 使用后模拟绘制方法好看些 Grok 语法测试工具 集群

    2024年02月08日
    浏览(51)
  • Elasticsearch的基础知识和架构设计,以及一些常用的功能——面向对象编程和数据结构的高级应用场景,以及相应的代码实现方法和工具

    作者:禅与计算机程序设计艺术 2019年,Elasticsearch正式发布了7.0版本。在这个版本更新中,新增了许多新特性和功能,包括全文搜索、分类聚合、分析器、图形化数据可视化等。无论对于企业或个人来说,都意味着更好的应用场景。但是,掌握Elasticsearch并非易事,需要不断学

    2024年02月07日
    浏览(57)
  • redis高级----------主从复制

    redis的四种模式:单例模式;主从模式;哨兵模式,集群模式  一、主从模式 单例模式虽然操作简单,但是不具备高可用         缺点: 单点的宕机引来的服务的灾难、数据丢失 单点服务器内存瓶颈,无法无限纵向扩容 解决办法:         单节点宕机,可以由其他节点暂

    2024年02月11日
    浏览(37)
  • docker高级(mysql主从复制)

    数据库密码需要设置成自己的!!! 1、创建容器master13307 2、进入/mysql/mysql-master/conf目录下新建my.cnf 复制下面,保存 3、修改完配置后重启master实例 4、进入mysql-master容器 5、在主数据库中查看主从同步状态 6、新建从服务器容器实例mysql-slave 13308 7、重启slave 8、在从数据库s

    2024年02月11日
    浏览(47)
  • redis复制和分区:主从复制、哨兵模式和集群模式

    在 Redis 中,复制和分区是用于数据冗余和性能扩展的关键特性。以下是主从复制、哨兵模式和集群模式的工作原理的简要概述: 主从复制 (Replication) 基本概念 :Redis 的主从复制功能允许多个 Redis 服务器具有相同的数据副本。这在读取操作的负载均衡、数据备份、灾难恢复等

    2024年01月20日
    浏览(47)
  • docker笔记4:高级复杂安装-mysql主从复制

    docker run -p 3307:3306 --name mysql-master -v /mydata/mysql-master/log:/var/log/mysql -v /mydata/mysql-master/data:/var/lib/mysql -v /mydata/mysql-master/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root   -d mysql:5.7 进入/mydata/mysql-master/conf目录下新建my.cnf  vim my.cnf docker restart mysql-master 进入mysql-master容器  docker exec -it

    2024年02月09日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包