【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)

这篇具有很好参考价值的文章主要介绍了【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章目录

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)



前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。
之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写!
来弥补一下这个空白!!!
好了,扯远了,回归技术!
下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!!
注意:本部署方案分为三章节,三章节的重点分别是:

  • GoldenGate12C安装前,数据库层面的准备工作!!!
  • 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!!
  • 配置支持DDL操作的实时数据同步!!!

一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档:
【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。
源端数据库配置信息:
主机名:source
IP:192.168.1.6
归档位置:/u01/arch
字符集:AMERICAN_AMERICA.AL32UTF8
目的端数据库配置信息:
主机名:ogg
IP:192.168.1.10
归档位置:/u01/arch
字符集:AMERICAN_AMERICA.ZHS16GBK
UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接:
【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。
该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。
GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。
点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

goldengate oracle12c 同步,GoldenGate,GoldenGate异构,GoldenGate部署,GoldenGate数据同步,ogg12部署,hadoop

四、配置环境变量

源端环境变量设置如下:

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=ogg
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12

六、数据库配置

源端库配置

1、开启数据库归档

验证是否开启

SQL> archive log list

2、开启强制使用日志模式

alter database force logging;

验证是否开启

select force_logging from v$database;

3、开启日志追加

alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,
supplemental_log_data_pk,
supplemental_log_data_ui,
supplemental_log_data_fk
from v$database;

4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

5、授予ogg账户权限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置
修改参数:

alter system set enable_goldengate_replication=true scope=both; 

目标端库配置

1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

2、授予ogg账户权限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置
修改参数:

alter system set enable_goldengate_replication=true scope=both; 

总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!文章来源地址https://www.toymoban.com/news/detail-778333.html

到了这里,关于【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 看这篇就明白大数据实时数仓、离线数仓、数据湖之间的关系

      20世纪70年代,MIT(麻省理工)的研究员致力于研究一种优化的技术架构,该架构试图将业务处理系统和分析系统分开,即将业务处理和分析处理分为不同层次,针对各自的特点采取不同的架构设计原则,MIT的研究员认为这两种信息处理的方式具有显著差别,以至于必须采取完

    2024年02月08日
    浏览(35)
  • 【大数据实训】基于当当网图书信息的数据分析与可视化(八)

    温馨提示:文末有 CSDN 平台官方提供的博主 的联系方式,有偿帮忙部署 一、实验环境 (1)Linux: Ubuntu 16.04 (2)Python: 3.5 (3)Hadoop:3.1.3(4)Spark: 2.4.0(5)Web框架:flask 1.0.3 (6)可视化工具:Echarts (7)开发工具:Visual Studio Code 二、小组成员及分工 (1)成员:林海滢,

    2024年02月04日
    浏览(46)
  • 【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)

    博主介绍 : ✌ 全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战 ✌ 🍅 文末获取项目联系 🍅 2019—2020 学年第二学期《分布式系统原理与技术》期末大作业评分表 评价内容

    2024年02月06日
    浏览(38)
  • 【大数据实验系列】一文轻松搞定云服务器Centos8.x下安装MySQL5.x版本,以阿里云服务器为例!(超详细安装流程)

           本篇博客主要涉及云服务器(以阿里云服务器为例子)Centos8.x下安装MySQL软件。( 通读本篇博客需要10分钟左右的时间) 。         本篇博客内容参考于:centOS8安装MySql5.7 2.1 MySQL rpm源包下载        我们首先点击官网MySQL下载地址,如下图所示:        博主这里选择上

    2024年02月03日
    浏览(50)
  • 大数据实训

    1、Hadoop集群框架搭建(学过,但是没有现成的) 2、python(机器学习) 3、Spark(没有) 4、Flume(没有) 5、Sqoop(没有接触) 6、编程语言: SpringBoot(有)+echarts(数据可视化框架) 1.1 百度百科:大数据,短期无法运用常规一些手段去及时处理海量数据,需要使用新型的技术

    2024年02月02日
    浏览(33)
  • 泰迪大数据实训平台产品介绍

          大数据产品包括: 大数据实训管理平台、大数据开发实训平台、大数据编程实训平台 等      大数据实训管理平台      泰迪大数据实训平台从课程管理、资源管理、实训管理等方面出发,主要解决现有实验室无法满足教学需求、传统教学流程和工具低效耗时和内部

    2024年02月11日
    浏览(29)
  • 大数据实验三-HBase编程实践

    目录 一.实验内容 二.实验目的 三.实验过程截图及说明 1、安装HBase 2、配置伪分布式模式: 3、使用hbase的shell命令来操作表: 4、使用hbase提供的javaAPI来编程实现类似操作: 5、实验总结及心得体会 6、完整报告在文章开头,挂载。 HBase编程实践: 1)在Hadoop基础上安装H

    2024年04月12日
    浏览(55)
  • 【大数据实验五】 MapReduce初级编程实践

    1实验目的 1.通过实验掌握基本的MapReduce编程方法; 2.掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。 2实验平台 已经配置完成的Hadoop伪分布式环境。 (1)操作系统:Linux(Ubuntu18.04) (2)Hadoop版本:3.1.3 3实验内容和要求 1.编程实现文件

    2024年02月03日
    浏览(133)
  • 大数据实验 实验六:Spark初级编程实践

    实验环境:Windows 10 Oracle VM VirtualBox 虚拟机:cnetos 7 Hadoop 3.3 因为Hadoop版本为3.3所以在官网选择支持3.3的spark安装包 解压安装包到指定文件夹 配置spark-env.sh 启动成功 (1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; (2) 在spark-shell中读

    2024年02月04日
    浏览(69)
  • 大数据实验 实验二:熟悉HDFS常用操作

    附件中有word版本的实验报告 理解HDFS在Hadoop体系结构中的角色。 熟练使用HDFS操作常用的Shell命令。 熟悉HDFS操作常用的Java API。 Oracle VM VirtualBox虚拟机 系统版本centos7 JDK1.8版本 Hadoop-3.1.3 Windows11 Java IDE:IDEA 1.向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户

    2024年04月12日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包