小研究 - Mysql快速全同步复制技术的设计和应用(三)

这篇具有很好参考价值的文章主要介绍了小研究 - Mysql快速全同步复制技术的设计和应用(三)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Mysql半同步复制技术在高性能的数据管理中被广泛采用,但它在可靠性方面却存在不足.本文对半同步复制技术进行优化,提出了一种快速全同步复制技术,通过对半同步数据复制过程中的事务流程设置、线程资源合理应用、批量日志应用等技术手段,在保证数据可靠性的基础上降低复制过程中的性能损失,实现了快速的全同步复制.测试结果表明,快速全同步复制技术可以在性能、可靠性和一致性方面做到很好的均衡,有效提高了Mysql存储集群的业务承载能力

目录

3 功能验证和性能测试

3.1 功能验证

3.2 性能测试

4 结语


3 功能验证和性能测试
3.1 功能验证

功能验证主要是验证在故障情况下,快速全同步复制的存储集群的事务回退,主机节点和备机节点的切换是否正常和检查数据是否丢失.测试目的:验证快速全同步复制的高可靠性.

测试环境(配置):一主两从的三节点Mysql存储集群.

参数设置:

        Fullsync_consistency_level=1;
        disable_fullsync_on_slave_ack_timeout=0;
        fullsync_relaylog_fsync_ack_level=2;

测试方法:在模拟业务系统运行的过程中,对集群执行破坏性操作,检查数据的一致性及可靠性.测试结束如表4所示.

小研究 - Mysql快速全同步复制技术的设计和应用(三),# 小研报,mysql,数据库,异步复制,半同步复制,全同步复制

表4的测试结果说明,快速全同步技术在各种意外故障的场景下,可以保证数据的高可靠性.

3.2 性能测试

本次测试是通过对比快速全同步和Mysql增强半同步的写入性能(在相同的配置情况下),来验证
快速全同步复制技术是否具有性能上的优势.

测试软件:Sysbench 1.0.20(using system Lua-JIT 2.1.0-beta3)

服务器配置:CPU16cores32Threads,内存:128G

存储:1 个 NVMe SSD .

软件版本及配置:
Mysql增强半同步:Server version:8.0.26 MysqlCommunity Server+半同步复制插件;
Mysql 存储集群快速全同步复制:基于 8.0.26Mysql Community Server+快速全同步功能;

数据库参数配置一致.

Sysbench 测试场景:
        场景:oltp_write_only;

        每个事务执行如下 3 种操作:

                execute_index_updates();

                execute_non_index_updates();

                execute_delete_inserts().
测试数据量:-tables=18-table-size=5000000,表占用操作系统存储空间:22 G.
测试结果:

小研究 - Mysql快速全同步复制技术的设计和应用(三),# 小研报,mysql,数据库,异步复制,半同步复制,全同步复制

如图4 所示的测试结果表明,快速全同步复制性能比 Mysql 半同步(Semi _ sync)在性能上提升约10%.

4 结语

Mysql的传统复制技术在不同的场景下已经获得广泛使用,但依然存在可靠性和复制性能二者不能兼得的问题.本文研究的快速全同步复制技术弥补了传统复制技术的不足,通过线程池和批量应用日志等技术的合理应用,在性能和可靠性等方面获得提升,通过测试验证,在保证数据可靠性基础上快速全同步技术的性能比Mysql半同步复制技术有较大的提升,这在分布式数据库某些场景下具有一定的应用价值.但快速全同步技术并没有对复制延迟的指标和影响做深入分析和研究 . 因此,在具体应用快速全同步技术过程中,如果业务对复制延迟有严格要求,需要评估后再根据实际情况使用文章来源地址https://www.toymoban.com/news/detail-630045.html

到了这里,关于小研究 - Mysql快速全同步复制技术的设计和应用(三)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 实现↝Mysql数据库主从复制搭建与同步

    一般数据库都是读取压力大于写数据压力,主从复制即为了实现数据库的负载均衡和读写分离。通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,主服务器只负责写,而从服务器只负责读。 如生产环境中,使用redis数据库作为缓存数据库,用户访问业务数据时,先

    2024年02月10日
    浏览(56)
  • Mysql数据库--实现主从复制搭建与同步

    一般数据库都是读取压力大于写数据压力,主从复制即为了实现数据库的负载均衡和读写分离。通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,主服务器只负责写,而从服务器只负责读。 如生产环境中,使用redis数据库作为缓存数据库,用户访问业务数据时,先

    2024年02月08日
    浏览(62)
  • mysql面试题12:讲一讲MySQL中什么是半同步复制?底层实现?

    该文章专注于面试,面试只要回答关键点即可,不需要对框架有非常深入的回答,如果你想应付面试,是足够了,抓住关键点 MySQL中的半同步复制(Semi-Synchronous Replication)是一种复制模式,它在主服务器将数据写入到二进制日志之后,要求至少一个从服务器确认接收到数据后

    2024年02月07日
    浏览(38)
  • 案例:CentOS8 在 MySQL8.0 实现半同步复制

    异步复制 MySQL 默认的复制即是异步的, 主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题, 主节点如果 crash 掉了,此时主节点上已经提交的事务可能并没有传到从库上,如果此时,强行将从提升为主,可

    2024年02月20日
    浏览(37)
  • mysql+proxysql+replication-manager的主从半同步复制+高可用+读写分离

    环境: AlmaLinux release 9.1 MySQL Community Server Ver 8.0.33 Replication Manager v2.2.40 for MariaDB 10.x and MySQL 5.7 Series ProxySQL version 2.5.1-90-gbedaa6c 主机分配情况: 采用hyper-v创建虚拟机的方式进行的,创建1台模板之后另外3台导入虚拟机复制。 1、安装mysql mysql8的默认加密插件变为了caching_sha2_

    2023年04月23日
    浏览(55)
  • mysql复制技术、mysql集群

    1.四台虚拟机都关闭防火墙 2.四台虚拟机都设置好host域名解析,在/etc/hosts文件中添加如下 3.在干净的环境下安装好mysql(yum、二进制、源码都行) ​四台mysql统一密码方便后续使用 1.首先在master1中创建数据库、表 模拟服务器已经运行一段时间 2.设置master的mysql配置 3.创建复制

    2024年02月13日
    浏览(36)
  • 介绍原型模式:快速构建和复制对象的设计模式

    经过瀑布模式之后,我们不禁想要用模型解决更多的问题,最重要的就是不再单向行径。 由此,介绍 原型模式, 所谓原型,就是我们有一个框架或者初始角色。我们可以根据项目的不同,对它进行不同的修改,使它适配。 在软件开发中,经常会遇到需要创建和复制对象的情

    2024年02月12日
    浏览(39)
  • 阿里云RDS MySQL 数据如何快速同步到 ClickHouse

    云数据库 RDS MySQL 和 云数据库 ClickHouse 是阿里云推出的两个备受欢迎的数据库解决方案,它们为用户提供了可靠的数据存储方案、分析数仓方案,本文介绍如何快速将 RDS MySQL 的数据同步到云数据库 ClickHouse。 如何快速将RDSMySQL的数据同步到云数据库 云数据库 RDS MySQL 和云数据

    2024年02月04日
    浏览(43)
  • 区块链技术研究综述:原理、进展与应用

    来源:区块链技术研究综述:原理、进展与应用     期刊:通信学报。 #blockchain 相当于对区块链先进行一个系统的了解吧                                                  区块链的层次化技术结构。 #未解决的问题 上述文 献虽 然归纳得较为完整,

    2024年02月13日
    浏览(41)
  • MySQL主从复制原理剖析与应用实践

    vivo 互联网服务器团队- Shang Yongxing MySQL Replication(主从复制)是指数据变化可以从一个MySQL Server被复制到另一个或多个MySQL Server上,通过复制的功能,可以在单点服务的基础上扩充数据库的高可用性、可扩展性等。 MySQL在生产环境中被广泛地应用,大量的应用和服务都对MyS

    2023年04月11日
    浏览(79)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包