xx库Goldengate实施方案.docx
《xx库Goldengate实施方案.docx》由会员分享，可在线阅读，更多相关《xx库Goldengate实施方案.docx（30页珍藏版）》请在冰豆网上搜索。
xx库Goldengate实施方案
XX数据库--GoldenGate实施方案
目录
一、XX系统GoldenGate灾备设计方案3
1.1XX系统数据库情况3
1.2XX系统采用GoldenGate灾备设计方案3
1.6.1基础设施设计3
1.6.2数据库设计4
1.6.3GoldenGate设计4
二、实施前准备5
三、GoldenGate进程配置清单6
四、源端配置12
4.1创建运行GoldenGate的用户12
4.2安装GoldenGate12
4.3添加变量13
4.4增加附加日志13
4.5配置源端DDL13
4.6Mgr进程配置14
4.7抓取进程配置15
4.8传输进程配置16
4.9启动进程16
五、同步历史数据17
RMAN备份17
六、目标端配置17
6.1创建运行GoldenGate的用户17
6.2安装GoldenGate17
6.3添加变量18
6.4修改数据库18
6.5目标端GLOBALS配置21
6.6Mgr进程配置21
6.7数据入库进程配置21
6.8启动进程22
一、XX系统GoldenGate灾备设计方案
1.1XX系统数据库情况
信息
内容
说明
数据量
大约在58G左右
需要复制的Schema
251
需要复制的表数量
表的大小在58G左右
日志增量
高峰期增量在10G左右
1.2XX系统采用GoldenGate灾备设计方案
1.
1.1.
1.2.
1.6.1基础设施设计
a）源端数据库主机和存储要求
GoldenGate数据库灾备系统，对源端数据库主机的资源占用很小，主要如下：
资源
数量
设计
安装节点
RAC节点一
可以安装任一节点（节点2的监听没有启动）
CPU
每个抽取进程<1%
GoldenGate数据复制的原理是对数据库的日志采用优化的日志扫描算法进行扫描，对源端CPU占用率非常低。
内存
每个抽取进程<1G
GoldenGate对内存的需求取决于营销系统大长事务的数量以及并发的数据增量。
如果大长事务特别多，那么建议内存适当增加。
建议每个GoldenGate设置1G内存，运行过程中如果因为大长事务的原因导致内存需求加大，GoldenGate会自动把内存交换到磁盘上去。
存储
>18G
GoldenGate对存储的需求主要是队列文件的存储需要。
队列文件相对数据库日志文件，大约是其1/4，同时建议队列文件保留7天，考虑到数据库高峰期的日志生成率（10G/天），建议GoldenGate队列文件的存储大小为：
10*7/4约为18G
b）目标端数据库主机要求
资源
数量
设计
安装节点
单机
CPU
4C
灾备目标系统上的CPU都可供GoldenGate使用，为了加快数据入库，建议采用多入库进程的方式来完成数据入库工作。
内存
每个入库进程<1G
GoldenGate对内存的需求取决于并发的数据增量。
由于目标端有很多优化参数，在目标段入库进程对内存的需求并不高。
一般建议也设置为1G
存储
>18G
GoldenGate目标端对存储的需求等同于对源端的存储需要。
建议GoldenGate队列文件的存储大小不低于源端的18G
1.6.2数据库设计
a）源端数据库要求和设计
资源
数量
设计
数据库附加日志
打开
需要在数据库级别打开附加日志，最小附加日志级别就可以。
表附加日志
打开
在GoldenGate中添加和打开表一级的附件日志。
b）目标端数据库要求和设计
资源
数量
设计
Trigger
关闭
为了避免数据反复插入，需要禁用目标端的Trigger
外键
关闭
为了加快数据入库速度，建议禁用外键
1.6.3GoldenGate设计
a）源端GoldenGateManager进程设计
资源
数量
设计
Manager
1
自动清楚过期无效trail文件，自动启动以及自动重启goldengate进程
b）源端数据库抽取进程设计
资源
数量
设计
Extract
2
XX管控数据库的数据量比较小，但用户比较多，为了提高性能所以分为两个抽取进程
DataPump
2
每个extract使用一个datapump来对应往目标段传送数据。
c）源端队列文件设计
资源
数量
设计
Exttrail
2
每个队列文件大小每100M切换一个，并且使用Manager自动清楚过期无用队列文件
d）源端传输进程设计
资源
数量
设计
DataPump
2
每个extract使用一个datapump来对应往目标段传送数据，考虑到带宽限制，启用数据压缩传输。
e）目标段端GoldenGateManager进程设计
资源
数量
设计
Manager
1
自动清楚过期无效trail文件，自动启动以及自动重启goldengate进程
f）目标端入库进程设计
资源
数量
设计
REPLICAT
2
每一抽取进程对应一个入库进程
二、实施前准备
a.为GoldenGate软件划分一定的共享存储空间（天数*每天数据变化量），并创建文件系统。
（建议共享存储空间>=18G，每天产生10G左右的归档，队列文件保存7天，GG每天抽取后产生的队列文件在2.5，保留7天则需要18空间）
b.数据库必须处于归档模式，建议保留7-10天以上的归档日志；
c.由双方工程师共同确定所需要复制的表以及划分复制通道。
d.为GoldenGate分配端口7809，7840-7845（在源和目标端）
e.将数据库附加日志打开
f.创建goldengate数据库用户
三、GoldenGate进程配置清单
序号
抽取进程
传输进程
入库进程
备注
1
cw_ext1
cw_dump1
cw_rep1
BTMON
ER_DW
FMIS1100
FMIS1101
FMIS1102
FMIS1103
FMIS1104
FMIS1105
FMIS1106
FMIS1107
FMIS1108
FMIS1109
FMIS110A
FMIS110B
FMIS110C
FMIS110D
FMIS110E
FMIS110F
FMIS110G
FMIS110H
FMIS110I
FMIS110J
FMIS110L
FMIS110M
FMIS110N
FMIS110O
FMIS110P
FMIS1110
FMIS1111
FMIS1112
FMIS1113
FMIS1114
FMIS1115
FMIS1116
FMIS1117
FMIS1118
FMIS1119
FMIS111A
FMIS111B
FMIS111C
FMIS111D
FMIS111E
FMIS111F
FMIS111G
FMIS111H
FMIS111I
FMIS111J
FMIS1120
FMIS1121
FMIS1122
FMIS1124
FMIS1125
FMIS1126
FMIS1127
FMIS1128
FMIS1129
FMIS112A
FMIS112B
FMIS112C
FMIS112D
FMIS112E
FMIS112F
FMIS112G
FMIS112H
FMIS112I
FMIS112J
FMIS1130
FMIS1131
FMIS1132
FMIS1133
FMIS1134
FMIS1135
FMIS1136
FMIS1137
FMIS1138
FMIS1139
FMIS113A
FMIS113B
FMIS113C
FMIS113D
FMIS113E
FMIS113F
FMIS113G
FMIS113H
FMIS113I
FMIS113J
FMIS1140
FMIS1141
FMIS1142
FMIS1143
FMIS1144
FMIS1145
FMIS1146
FMIS1147
FMIS1148
FMIS1149
FMIS114A
FMIS114B
FMIS114C
FMIS114D
FMIS114E
FMIS114F
FMIS114G
FMIS114H
FMIS114I
FMIS114J
FMIS1150
FMIS1151
FMIS1152
FMIS1153
FMIS1154
FMIS1155
FMIS1156
FMIS1157
FMIS1158
FMIS1159
FMIS115A
FMIS115B
FMIS115C
FMIS115D
FMIS115E
FMIS115F
FMIS115G
FMIS115H
FMIS115I
FMIS115J
FMIS1160
FMIS1161
FMIS1162
FMIS1163
FMIS1164
FMIS1165
FMIS1166
FMIS1167
FMIS1168
FMIS1169
FMIS116A
FMIS116B
FMIS116C
FMIS116D
FMIS116E
FMIS116F
FMIS116G
FMIS116H
FMIS116I
FMIS116J
FMIS116K
FMIS116L
FMIS116M
FMIS116N
FMIS116P
FMIS116Q
FMIS116R
FMIS116S
FMIS116T
FMIS116U
FMIS1170
FMIS1171
FMIS1172
FMIS1173
FMIS1174
FMIS1175
FMIS1176
FMIS1177
FMIS1178
FMIS1179
FMIS117A
FMIS117B
FMIS117C
FMIS117D
2
cw_ext1
cw_dump1
cw_rep1
FMIS117E
FMIS117F
FMIS117G
FMIS117H
FMIS117I
FMIS117J
FMIS1180
FMIS1181
FMIS1182
FMIS1183
FMIS1184
FMIS1185
FMIS1186
FMIS1187
FMIS1188
FMIS1189
FMIS118A
FMIS118B
FMIS118C
FMIS118D
FMIS118E
FMIS118F
FMIS118G
FMIS118H
FMIS118I
FMIS118J
FMIS1190
FMIS1191
FMIS1192
FMIS1193
FMIS1194
FMIS1195
FMIS1196
FMIS1197
FMIS1198
FMIS1199
FMIS119A
FMIS119B
FMIS119C
FMIS119D
FMIS119E
FMIS119F
FMIS119G
FMIS119H
FMIS119I
FMIS119J
FMIS119K
FMIS119L
FMIS119M
FMIS119N
FMIS119P
FMIS119Q
FMIS119R
FMIS119T
FMIS119U
FMIS119V
FMIS119W
FMIS119X
FMIS119Y
FMIS119Z
FMIS11HA
FMIS11HB
FMIS11HC
FMIS11HD
FMIS11HE
FMIS11HF
ML
ODS
SOAWARE
YG_BANK
YGNBI
四、源端配置
4.1创建运行GoldenGate的用户
1）在源端采用ORACLE用户运行GoldenGate
2）安装位置：
/goldengate
3）创建GoldenGate数据库用户goldengate
createtablespacegoldengatedatafile'/xx/goldengate01.dbf'size100Mautoextendon;
--Createtheuser
createusergoldengate
identifiedby"hljorarz"
defaulttablespacegoldengate
temporarytablespaceTEMP
profileDEFAULT;
--Grant/Revokeroleprivileges
grantdbatogoldengate;
4）检查源端数据库是否为归档模式，若为非归档模式，将其改为归档模式
SQL>archiveloglist;
5）检查源端数据库附加日志是否打开
SQL>selectsupplemental_log_data_minfromv$database;
a）将数据库附加日志打开
SQL>alterdatabaseaddsupplementallogdata;
b）切换日志以使附加日志生效
SQL〉ALTERSYSTEMARCHIVELOGCURRENT;
4.2安装GoldenGate
通过ftp上传GoldenGate软件包道安装目录，并解压缩
gzip–d*.gz
tar-xvf*.tar
在ggsci环境下创建GoldenGate子目录，createsubdirs
4.3添加变量
exportGG_HOME=/goldengate
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
4.4增加附加日志
在GGSCI命令行中登陆数据库，为需要复制的数据表添加trandata
a）增加表的附加日志
GGSCI>dbloginuseridgoldengate,passwordhljorarz
注：
dblogin的后面是不能加标点符号的，否则登陆的时候，password会认为不对。
而不能登陆；
GGSCI>
b）执行完毕通过下列sql检查，查看那些表已经添加了附加日志：
c）如果发现尚有部分表未添加附加日志，需有手工添加，例：
Ggsci>dbloginuseridgoldengate,passwordhljorarz
如果该表有主键：
Ggsci>addtrandataemp_hlj.table_name
如果该表无主键，则需要制定主键或者多列的组合主键：
Ggsci>addtrandataemp_hlj.table_name,cols（列名，列名…）
4.5配置源端DDL
在做该配置之前，请确认所有extract和replicat全部已停止。
在源端修改GLOBALS参数文件：
Shell>cdgoldengate
Shell>ggsci
GGSCI>EDITPARAMS./GLOBALS
GGSCHEMAgoldengate
然后停止manager：
stopmgr。
然后退出ggsci，接着重新进入ggsci让修改的GLOBALS参数生效。
关闭recyclebin（针对DDL复制）
–将RECYCLEBIN初始化参数设置为OFF.
Shell>sqlplus/asSYSDBA
SQL>ALTERSYSTEMSETRECYCLEBIN=OFFSCOPE=BOTH;
–将_RECYCLEBIN初始化参数设置为FALSE.
SQL>ALTERSYSTEMSET"_recyclebin"=FALSESCOPE=BOTH;
SQL>exit
然后切换到GoldenGate目录下执行：
Sqlplus/assysdba
创建DDL相关的对象
SQL>@marker_setup.sql–-需要输入goldengate这个schema
创建捕获DDL变化的触发器和包
SQL>@ddl_setup.sql--需要输入goldengate这个schema，然后输入INITIALSETUP，然后输入yes
创建角色
SQL>@role_setup.sql--需要输入goldengate这个schema
把角色的权限给goldengate
SQL>GRANTGGS_GGSUSER_ROLE,RESOURCE,DBA,CONNECTtogoldengate;
启用对象和触发器
SQL>@ddl_enable.sql--需要输入goldengate这个schema
4.6Mgr进程配置
Ø编辑mgr进程参数
GGSCI>editparammgr
port7809
DYNAMICPORTLIST7840-7845
AUTOSTARTEXTRACT*
AUTORESTARTEXTRACT*,RETRIES5,WAITMINUTES7
PURGEOLDEXTRACTS./dirdat/*,usecheckpoints,minkeepdays7
PURGEDDLHISTORYMINKEEPDAYS7,MAXKEEPDAYS10
PURGEMARKERHISTORYMINKEEPDAYS7,MAXKEEPDAYS10
LAGREPORTHOURS1
LAGINFOMINUTES30
LAGCRITICALMINUTES45
4.7抓取进程配置
1）cw_ext1进程
Ø添加cw_ext1进程，从数据库日志中抓取有效数据
GGSCI>ADDEXTRACTcw_ext1,tranlog,beginnow,threads2添加本地队列t1，cw_ext1进程捕捉到的有效数据将写入本地队列
GGSCI>ADDEXTTRAIL./dirdat/t1,EXTRACTcw_ext1,megabytes100
Ø为cw_ext1进程配置参数
GGSCI>editparamyx_ext1
2）cw_ext2进程
Ø添加cw_ext2进程，从数据库日志中抓取有效数据
GGSCI>ADDEXTRACTcw_ext2,tranlog,beginnow,threads2
Ø添加本地队列t2，cw_ext2进程捕捉到的有效数据将写入本地队列
GGSCI>ADDEXTTRAIL./dirdat/t2,EXTRACTcw_ext2,megabytes100
Ø为cw_ext2进程配置参数
GGSCI>editparamcw_ext2
4.8传输进程配置
1）cw_dump1传输进程
Ø添加cw_dump1进程，将本地队列的数据抽取出来
GGSCI>ADDEXTRACTcw_dump1,EXTTRAILSOURCE./dirdat/t1
Ø添加远端队列，将cw_dump1进程捕捉到的数据将写入该队列
GGSCI>ADDRMTTRAIL./dirdat/t1,EXTRACTcw_dump1,MEGABYTES200
Ø配置cw_dump1进程参数
GGSCI>editparamcw_dump1
2）cw_dump2传输进程
Ø添加cw_dump2进程，将本地队列的数据抽取出来
GGSCI>ADDEXTRACTcw_dump2,EXTTRAILSOURCE./dirdat/t2
Ø添加远端队列，将cw_dump2进程捕捉到的数据将写入该队列
GGSCI>ADDRMTTRAIL./dirdat/t2,EXTRACTcw_dump2,MEGABYTES200
Ø配置cw_dum2进程参数
GGSCI>editparamcw_dump2
4.9启动进程
Ø启动源端管理进程
GGSCI>startmgr
Ø启动源端抽取进程
GGSCI>startcw_ext*
Ø启动源端传输进程
GGSCI>startcw_dump*
五、同步历史数据
RMAN备份
六、目标端配置
6.1创建运行GoldenGate的用户
1）在源端采用goldengate用户运行GoldenGate
2）安装位置：
/goldengate
3）创建GoldenGate数据库用户goldengate
createtablespacegoldengatedatafile'/xx/goldengate01.dbf'size100Mautoextendon;
--Createtheuser
createusergoldengate
identifiedby"hljorarz"
defaulttablespacegoldengate
temporarytablespaceTEMP;
--Grant/Revokeroleprivileges
grantdbatogoldengate;
6.2安装GoldenGate
通过ftp上传GoldenGate软件包道安装目录/goldengate，并解压缩
gzip–d*.gz
tar-xvf*.tar
在ggsci环境下创建GoldenGate子目录，
createsubdirs
6.3添加变量
exportGG_HOME=/goldengate
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
6.4修改数据库
Ø禁用触发器
declare
v_sqlvarchar2（2000）;
CURSORc_triggerISSELECT'altertrigger'||owner||'.'||trigger_name||'disable'fromdba_triggerswhereownerin（'BTMON','ER_DW','FMIS1100','FMIS1101','FMIS1102',
'FMIS1103','FMIS1104','FMIS1105','FMIS1106','FMIS1107',
'FMIS1108','FMIS1109','FMIS110A','FMIS110B','FMIS110C',
'FMIS110D','FMIS110E','FMIS110F','FMIS110G','FMIS110H',
'FMIS110I','FMIS110J','FMIS110L','FMIS110M','FMIS110N',
'FMIS110O','FMIS110P','FMIS1110','FMIS1111','FMIS1112',
'FMIS1113','FMIS111
升级会员 