xx库Goldengate实施方案.docx

1、xx库Goldengate实施方案 XX数据库-GoldenGate实施方案目录一、 XX系统GoldenGate灾备设计方案 31.1 XX系统数据库情况 31.2 XX系统采用GoldenGate灾备设计方案 31.6.1 基础设施设计 31.6.2 数据库设计 41.6.3 GoldenGate设计 4二、 实施前准备 5三、 GoldenGate进程配置清单 6四、 源端配置 124.1 创建运行GoldenGate的用户 124.2 安装GoldenGate 124.3 添加变量 134.4 增加附加日志 134.5 配置源端DDL 134.6 Mgr进程配置 144.7 抓取进程配

2、置 154.8 传输进程配置 164.9 启动进程 16五、 同步历史数据 17RMAN备份 17六、 目标端配置 176.1 创建运行GoldenGate的用户 176.2 安装GoldenGate 176.3 添加变量 186.4 修改数据库 186.5 目标端GLOBALS配置 216.6 Mgr进程配置 216.7 数据入库进程配置 216.8 启动进程 22一、 XX系统GoldenGate灾备设计方案1.1 XX系统数据库情况信息内容说明数据量大约在58G左右需要复制的Schema251需要复制的表数量表的大小在58G左右日志增量高峰期增量在10G左右1.2 XX系统采用Golde

3、nGate灾备设计方案1. 1.1. 1.2. 1.6.1 基础设施设计a)源端数据库主机和存储要求GoldenGate数据库灾备系统，对源端数据库主机的资源占用很小，主要如下：资源数量设计安装节点RAC节点一可以安装任一节点（节点2的监听没有启动）CPU每个抽取进程1%GoldenGate数据复制的原理是对数据库的日志采用优化的日志扫描算法进行扫描，对源端CPU占用率非常低。内存每个抽取进程18GGoldenGate对存储的需求主要是队列文件的存储需要。队列文件相对数据库日志文件，大约是其1/4，同时建议队列文件保留7天，考虑到数据库高峰期的日志生成率（10G/天），建议GoldenGate

4、队列文件的存储大小为：10*7/4 约为18Gb)目标端数据库主机要求资源数量设计安装节点单机CPU4C灾备目标系统上的CPU都可供GoldenGate使用，为了加快数据入库，建议采用多入库进程的方式来完成数据入库工作。内存每个入库进程18GGoldenGate目标端对存储的需求等同于对源端的存储需要。建议GoldenGate队列文件的存储大小不低于源端的18G 1.6.2 数据库设计a) 源端数据库要求和设计资源数量设计数据库附加日志打开需要在数据库级别打开附加日志，最小附加日志级别就可以。表附加日志打开在GoldenGate中添加和打开表一级的附件日志。b) 目标端数据库要求和设计资源数量

5、设计Trigger关闭为了避免数据反复插入，需要禁用目标端的Trigger外键关闭为了加快数据入库速度，建议禁用外键1.6.3 GoldenGate设计a) 源端GoldenGate Manager进程设计资源数量设计Manager1自动清楚过期无效trail文件，自动启动以及自动重启goldengate进程b) 源端数据库抽取进程设计资源数量设计Extract2XX管控数据库的数据量比较小，但用户比较多，为了提高性能所以分为两个抽取进程DataPump2每个extract使用一个datapump来对应往目标段传送数据。c) 源端队列文件设计资源数量设计Exttrail2每个队列文件大小每10

6、0M切换一个，并且使用Manager自动清楚过期无用队列文件d) 源端传输进程设计资源数量设计DataPump2每个extract使用一个datapump来对应往目标段传送数据，考虑到带宽限制，启用数据压缩传输。e) 目标段端GoldenGate Manager进程设计资源数量设计Manager1自动清楚过期无效trail文件，自动启动以及自动重启goldengate进程f) 目标端入库进程设计资源数量设计REPLICAT2每一抽取进程对应一个入库进程二、 实施前准备a. 为GoldenGate软件划分一定的共享存储空间（天数*每天数据变化量），并创建文件系统。（建议共享存储空间=18G，每天

7、产生10G左右的归档，队列文件保存7天，GG每天抽取后产生的队列文件在2.5，保留7天则需要18空间）b. 数据库必须处于归档模式，建议保留7-10天以上的归档日志；c. 由双方工程师共同确定所需要复制的表以及划分复制通道。d. 为GoldenGate分配端口7809，7840-7845（在源和目标端）e. 将数据库附加日志打开f. 创建goldengate数据库用户三、 GoldenGate进程配置清单序号抽取进程传输进程入库进程备注1cw_ext1cw_dump1cw_rep1BTMON ER_DW FMIS1100FMIS1101FMIS1102FMIS1103FMIS1104FMIS1

8、105FMIS1106FMIS1107FMIS1108FMIS1109FMIS110AFMIS110BFMIS110CFMIS110DFMIS110EFMIS110FFMIS110GFMIS110HFMIS110IFMIS110JFMIS110LFMIS110MFMIS110NFMIS110OFMIS110PFMIS1110FMIS1111FMIS1112FMIS1113FMIS1114FMIS1115FMIS1116FMIS1117FMIS1118FMIS1119FMIS111AFMIS111BFMIS111CFMIS111DFMIS111EFMIS111FFMIS111GFMIS111HF

9、MIS111IFMIS111JFMIS1120FMIS1121FMIS1122FMIS1124FMIS1125FMIS1126FMIS1127FMIS1128FMIS1129FMIS112AFMIS112BFMIS112CFMIS112DFMIS112EFMIS112FFMIS112GFMIS112HFMIS112IFMIS112JFMIS1130FMIS1131FMIS1132FMIS1133FMIS1134FMIS1135FMIS1136FMIS1137FMIS1138FMIS1139FMIS113AFMIS113BFMIS113CFMIS113DFMIS113EFMIS113FFMIS1

10、13GFMIS113HFMIS113IFMIS113JFMIS1140FMIS1141FMIS1142FMIS1143FMIS1144FMIS1145FMIS1146FMIS1147FMIS1148FMIS1149FMIS114AFMIS114BFMIS114CFMIS114DFMIS114EFMIS114FFMIS114GFMIS114HFMIS114IFMIS114JFMIS1150FMIS1151FMIS1152FMIS1153FMIS1154FMIS1155FMIS1156FMIS1157FMIS1158FMIS1159FMIS115AFMIS115BFMIS115CFMIS115DF

11、MIS115EFMIS115FFMIS115GFMIS115HFMIS115IFMIS115JFMIS1160FMIS1161FMIS1162FMIS1163FMIS1164FMIS1165FMIS1166FMIS1167FMIS1168FMIS1169FMIS116AFMIS116BFMIS116CFMIS116DFMIS116EFMIS116FFMIS116GFMIS116HFMIS116IFMIS116JFMIS116KFMIS116LFMIS116MFMIS116NFMIS116PFMIS116QFMIS116RFMIS116SFMIS116TFMIS116UFMIS1170FMIS1

12、171FMIS1172FMIS1173FMIS1174FMIS1175FMIS1176FMIS1177FMIS1178FMIS1179FMIS117AFMIS117BFMIS117CFMIS117D2cw_ext1cw_dump1cw_rep1FMIS117EFMIS117FFMIS117GFMIS117HFMIS117IFMIS117JFMIS1180FMIS1181FMIS1182FMIS1183FMIS1184FMIS1185FMIS1186FMIS1187FMIS1188FMIS1189FMIS118AFMIS118BFMIS118CFMIS118DFMIS118EFMIS118FFM

13、IS118GFMIS118HFMIS118IFMIS118JFMIS1190FMIS1191FMIS1192FMIS1193FMIS1194FMIS1195FMIS1196FMIS1197FMIS1198FMIS1199FMIS119AFMIS119BFMIS119CFMIS119DFMIS119EFMIS119FFMIS119GFMIS119HFMIS119IFMIS119JFMIS119KFMIS119LFMIS119MFMIS119NFMIS119PFMIS119QFMIS119RFMIS119TFMIS119UFMIS119VFMIS119WFMIS119XFMIS119YFMIS11

14、9ZFMIS11HAFMIS11HBFMIS11HCFMIS11HDFMIS11HEFMIS11HFMLODSSOAWAREYG_BANKYGNBI四、 源端配置4.1 创建运行GoldenGate的用户1) 在源端采用ORACLE用户运行GoldenGate2) 安装位置：/goldengate 3) 创建GoldenGate数据库用户goldengate create tablespace goldengate datafile /xx/goldengate01.dbf size 100M autoextend on;- Create the user create user golden

15、gate identified by hljorarz default tablespace goldengate temporary tablespace TEMP profile DEFAULT;- Grant/Revoke role privileges grant dba to goldengate;4) 检查源端数据库是否为归档模式，若为非归档模式，将其改为归档模式SQLarchive log list;5) 检查源端数据库附加日志是否打开SQLselect supplemental_log_data_min from v$database;a) 将数据库附加日志打开SQLalter

16、 database add supplemental log data;b) 切换日志以使附加日志生效SQLALTER SYSTEM ARCHIVE LOG CURRENT;4.2 安装GoldenGate通过ftp上传GoldenGate软件包道安装目录，并解压缩gzip d *.gz tar -xvf *.tar 在ggsci环境下创建GoldenGate子目录，create subdirs4.3 添加变量export GG_HOME=/goldengateexport LD_LIBRARY_PATH=$ORACLE_HOME/lib4.4 增加附加日志在GGSCI命令行中登陆数据库，为需

17、要复制的数据表添加trandataa) 增加表的附加日志GGSCIdblogin userid goldengate,password hljorarz注：dblogin的后面是不能加标点符号的，否则登陆的时候，password会认为不对。而不能登陆；GGSCIb) 执行完毕通过下列sql检查，查看那些表已经添加了附加日志：c) 如果发现尚有部分表未添加附加日志，需有手工添加，例：Ggscidblogin userid goldengate,password hljorarz如果该表有主键：Ggsciadd trandata emp_hlj.table_name 如果该表无主键，则需要制定主键

18、或者多列的组合主键：Ggsciadd trandata emp_hlj.table_name,cols(列名，列名)4.5 配置源端DDL在做该配置之前，请确认所有extract和replicat全部已停止。在源端修改GLOBALS参数文件：Shell cd goldengateShell ggsciGGSCI EDIT PARAMS ./GLOBALSGGSCHEMA goldengate然后停止manager：stop mgr。然后退出ggsci，接着重新进入ggsci让修改的GLOBALS参数生效。关闭recycle bin（针对DDL复制）将RECYCLEBIN初始化参数设置为 OFF

19、.Shell sqlplus / as SYSDBASQL ALTER SYSTEM SET RECYCLEBIN = OFF SCOPE = BOTH;将_RECYCLEBIN初始化参数设置为FALSE.SQL ALTER SYSTEM SET _recyclebin = FALSE SCOPE = BOTH;SQL exit然后切换到GoldenGate目录下执行：Sqlplus / as sysdba创建DDL相关的对象SQL marker_setup.sql - 需要输入goldengate这个schema创建捕获DDL变化的触发器和包SQL ddl_setup.sql - 需要输入g

20、oldengate这个schema，然后输入INITIALSETUP，然后输入yes创建角色SQL role_setup.sql - 需要输入goldengate这个schema把角色的权限给goldengateSQL GRANT GGS_GGSUSER_ROLE, RESOURCE, DBA, CONNECT to goldengate;启用对象和触发器SQL ddl_enable.sql - 需要输入goldengate这个schema4.6 Mgr进程配置 编辑mgr进程参数 GGSCIedit param mgrport 7809DYNAMICPORTLIST 7840-7845AUT

21、OSTART EXTRACT *AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 7PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7PURGEDDLHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10PURGEMARKERHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 454.7 抓取进程配置1) cw_ext1进程 添加cw_ext1进程，

22、从数据库日志中抓取有效数据 GGSCI ADD EXTRACT cw_ext1, tranlog, begin now, threads 2添加本地队列t1，cw_ext1进程捕捉到的有效数据将写入本地队列GGSCI ADD EXTTRAIL ./dirdat/t1, EXTRACT cw_ext1,megabytes 100 为cw_ext1进程配置参数GGSCIedit param yx_ext1 2) cw_ext2进程 添加cw_ext2进程，从数据库日志中抓取有效数据GGSCI ADD EXTRACT cw_ext2, tranlog, begin now, threads 2 添加

23、本地队列t2，cw_ext2进程捕捉到的有效数据将写入本地队列GGSCI ADD EXTTRAIL ./dirdat/t2, EXTRACT cw_ext2,megabytes 100 为cw_ext2进程配置参数GGSCIedit param cw_ext24.8 传输进程配置1) cw_dump1传输进程 添加cw_dump1进程，将本地队列的数据抽取出来 GGSCI ADD EXTRACT cw_dump1,EXTTRAILSOURCE ./dirdat/t1 添加远端队列，将cw_dump1进程捕捉到的数据将写入该队列GGSCI ADD RMTTRAIL ./dirdat/t1,EXT

24、RACT cw_dump1,MEGABYTES 200 配置cw_dump1进程参数 GGSCIedit param cw_dump12) cw_dump2传输进程 添加cw_dump2进程，将本地队列的数据抽取出来 GGSCI ADD EXTRACT cw_dump2,EXTTRAILSOURCE ./dirdat/t2 添加远端队列，将cw_dump2进程捕捉到的数据将写入该队列GGSCI ADD RMTTRAIL ./dirdat/t2,EXTRACT cw_dump2,MEGABYTES 200 配置cw_dum2进程参数 GGSCIedit param cw_dump24.9 启动进

25、程 启动源端管理进程GGSCIstart mgr 启动源端抽取进程GGSCI start cw_ext* 启动源端传输进程GGSCI start cw_dump*五、 同步历史数据RMAN备份六、 目标端配置6.1 创建运行GoldenGate的用户1) 在源端采用goldengate 用户运行GoldenGate2) 安装位置： /goldengate 3) 创建GoldenGate数据库用户goldengate create tablespace goldengate datafile /xx/goldengate01.dbf size 100M autoextend on;- Creat

26、e the user create user goldengate identified by hljorarz default tablespace goldengate temporary tablespace TEMP;- Grant/Revoke role privileges grant dba to goldengate;6.2 安装GoldenGate通过ftp上传GoldenGate软件包道安装目录/goldengate，并解压缩gzip d *.gz tar -xvf *.tar 在ggsci环境下创建GoldenGate子目录，create subdirs6.3 添加变量e

27、xport GG_HOME=/goldengate export LD_LIBRARY_PATH=$ORACLE_HOME/lib 6.4 修改数据库 禁用触发器declarev_sql varchar2(2000);CURSOR c_trigger IS SELECT alter trigger |owner|.|trigger_name| disable from dba_triggers where owner in (BTMON, ER_DW, FMIS1100, FMIS1101, FMIS1102, FMIS1103, FMIS1104, FMIS1105, FMIS1106, FMIS1107, FMIS1108, FMIS1109, FMIS110A, FMIS110B, FMIS110C, FMIS110D, FMIS110E, FMIS110F, FMIS110G, FMIS110H, FMIS110I, FMIS110J, FMIS110L, FMIS110M, FMIS110N, FMIS110O, FMIS110P, FMIS1110, FMIS1111, FMIS1112, FMIS1113, FMIS111