异地容灾系统和数据仓库中数据同步的设计软件的功能模型

这篇具有很好参考价值的文章主要介绍了异地容灾系统和数据仓库中数据同步的设计软件的功能模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1)初始同步模块
该模块主要是在表进行初始同步时使用的;它能够根据实际需要生成物化视图
及其索引的创建语句,并完成表的初始同步。如果没有特别的要求,则调用普通初
始同步子模块进行目的端表的初始同步,创建语句将从源数据库获取;如果有特别
的要求,如按指定的分区初始同步或者按照一定的条件进行初始同步,则会根据这
些要求调用分区初始同步或条件初始同步子模块生成特定的创建语句来进行目的端
表的初始同步。该模块能够批量自动进行表的初始同步,从而大大减少了人工干 预,
保证了初始同步的准确性和自动化。
2)调度模块
由于源端的数据在时刻变化着,在初始同步模块的基础上需要有一个调度模块
将这些不断变化的数据同步到目的端,使目的端与源端始终保持数据一致性。该模
块中的增量调度子模块是在表的增量同步过程中使用的,并能根据刷新间隔要求对
目的端表进行及时准确的刷新;完全刷新调度子模块是在对表进行重新同步时使
用;特殊要求调度模块是给需要做特殊同步的表使用的,如需要暂时停止同步、在
每天的固定时间不同步等。
3)监控模块
该模块是为了及时发现同步中断和同步效率低的表。由于其告警方式为短信告
警,可以实现任何时间、任何地点的告警,保证了能在第一时间发现同步的中断以
及同步效率低下的情况,实现了异常处理的及时性。
4)错误处理模块
该模块主要是处理同步刷新过程中出现的各种错误。通过对捕获的错误进行相
应的处理,从而保证同步能够稳定、高效地运行。另外,由于 Oracle 高级复制技
术自身存在一定的缺陷,需要使用该模块来捕获造成数据不准的源头,并进行相应
的处理。
5)优化模块
该模块主要是处理同步过程中出现的性能瓶颈,保证能够及时发现性能问题并
采取相应的优化手段来加以维护,包括源端优化和目的端优化。

文章来源地址https://www.toymoban.com/news/detail-695667.html

到了这里,关于异地容灾系统和数据仓库中数据同步的设计软件的功能模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 容灾双活方案,异地容灾备份与双活

    数据信息的安全性和完整性面临着硬件问题、病毒入侵、自然灾害等各种威胁。为了应对这些威胁,公司需要采取有效的数据保护措施,其中特别重要的是外部容灾备份和双活技术。 让我们来看看其他地方的容灾备份。这是一种可以将数据复制到避免初始区域的设备中,以避

    2024年02月11日
    浏览(28)
  • elasticsearch系列九:异地容灾-CCR跨集群复制

    概述    起初只在部分业务中采用es存储数据,在主中心搭建了个集群,随着es在我们系统中的地位越来越重要,数据也越来越多,针对它的安全性问题也越发重要,那如何对es做异地容灾呢?    今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。 环境准

    2024年02月04日
    浏览(35)
  • 探索容灾架构演进之路-从单点到异地多活

    在公司发展初期,业务发展和用户增长是首要关注的焦点。然而,随着业务规模不断扩大,用户数量逐渐攀升,应用稳定性的重要性也变得愈发凸显。在这个演进过程中,传统架构下的应用部署模式开始显露出多方面的稳定性风险,其中最为显著的问题之一就是机房单点故障

    2024年02月05日
    浏览(42)
  • 数据库课程设计-图书馆管理系统(3. 用户软件,基于QT)

    如果对你有帮助,可以给卑微的博主留个赞、关注、收藏   (不是)  (骗一下数据,说不定以后面试就过了,拜谢) 用户软件的实现根据自己所用语言选择对应开发工具,c++ 较常用的是QT或者MFC。这里使用QT做个示例,但博主前端属实现学现卖,也就是能用级别,可以参考一下

    2024年02月09日
    浏览(35)
  • 系统架构设计师考试论文:论NoSQL 数据库技术在现代软件项目中的应用与效果

            随着互联网 web2.0 网站的兴起,传统关系数据库在应对 web2.0 网站,特别是超大规模和高并发的 web2.0 纯动态 SNS 网站上已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL(Not only SQL )的产生就是为

    2024年02月11日
    浏览(31)
  • 怎样设计一个具有良好容灾性的系统架构?

    当你的系统出现故障时,容灾性设计可以让你的系统保持高效运转,避免数据丢失和业务中断。那么,怎样设计一个具有良好容灾性的系统架构呢?让我来教你几招,不过在开始之前,先来了解一下今天的小广告:如果你需要可靠的服务器托管服务,推荐Lcayun(莱卡云)服务

    2024年01月25日
    浏览(31)
  • 系统架构设计高级技能 · 软件可靠性分析与设计(三)【系统架构设计师】

    系统架构设计高级技能 · 软件架构概念、架构风格、ABSD、架构复用、DSSA(一)【系统架构设计师】 系统架构设计高级技能 · 系统质量属性与架构评估(二)【系统架构设计师】 系统架构设计高级技能 · 软件可靠性分析与设计(三)【系统架构设计师】 现在的一切都是为

    2024年02月13日
    浏览(34)
  • 系统架构设计专业技能 · 软件工程(一)【系统架构设计师】

    系统架构设计高级技能 · 软件架构概念、架构风格、ABSD、架构复用、DSSA(一)【系统架构设计师】 系统架构设计高级技能 · 系统质量属性与架构评估(二)【系统架构设计师】 系统架构设计高级技能 · 软件可靠性分析与设计(三)【系统架构设计师】 软件开发生命周期

    2024年02月13日
    浏览(28)
  • 系统架构设计师-软件架构设计(3)

    目录 一、软件架构风格(其它分类)         1、闭环控制结构(过程控制)           2、C2风格         3、MDA(模型驱动架构 Model Driven Architecture)         4、特定领域软件架构(DSSA)                 4.1 DSSA基本活动及产出物:             

    2024年02月15日
    浏览(39)
  • 系统架构设计师-软件架构设计(7)

    目录 大型网站系统架构演化 一、第一阶段:单体架构 到 第二阶段:垂直架构 二、第三阶段:使用缓存改善网站性能         1、缓存与数据库的数据一致性问题         2、缓存技术对比【MemCache与Redis】         3、Redis分布式存储方案         4、Redis集群切片的

    2024年02月14日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包