GoldenGate Guide.docx

1、GoldenGate GuideOracle GoldenGold安装手册2011.12目 录1 GoldenGate简介 11.1 GoldenGate目的 11.2 GoldenGate和同类产品的差异 11.2.1 支持异构平台 11.2.2 交易的完整性 11.3 GoldenGate产品 22 GoldenGate技术原理 22.1 GoldenGate架构和原理 22.2 GoldenGate CheckPoint 32.3 Parameters, Process Groups 42.4 GoldenGate配置过程 43 GoldenGate环境准备 53.1 创建系统用户 53

2、.2 源端系统配置 63.3 目标端系统配置 73.4 安装goldengate软件 73.5 数据库方面的准备 83.5.1 在源端数据库中打开归档模式 83.5.2 在源端数据库中打开force logging 93.5.3 在源端数据库中打开supplemental log 93.5.4 在源端数据库中关闭回收站 103.5.5 确保goldengate能够连接到数据库的ASM实例 103.5.6 字符集 113.5.7 创建goldengate数据库用户 123.5.8 UNDO的设置 133.6 安装DDL OBJECTS 143.6.1 执行marker_setup 143.6.2

3、 执行ddl_setup 153.6.3 执行role_setup 163.6.4 将创建的角色授权给goldengate用户 163.6.5 启用DDL触发器 163.7 安装可选的性能工具 173.7.1 安装dbms_shared_pool包 173.7.2 ddl_pin 174 配置goldengate 184.1 创建goldengate工作目录 184.2 创建trail文件存放目录 184.3 配置MANAGER 184.4 全局参数设置 194.5 配置源端extract 204.6 配置目标端replicat 234.7 ADD TRANDATA 255 数据初始化(ini

4、tial data load) 275.1 通过expdp/impdp来迁移初始数据 275.1.1 准备工作 275.1.2 在源端和目标端打开MANAGER 275.1.3 在源端，执行expdp导出数据 285.1.4 将初始数据导入到目标数据库 285.1.5 在目标端，启动复制进程 295.2 通过文件到replicat方式来迁移初始数据 305.2.1 准备工作 305.2.2 在源端和目标端打开MANAGER 305.2.3 配置初始化extract 305.2.4 在目标库中创建表空间、用户及表结构 315.2.5 在源端，打开抽取进程 325.2.6 在源端，启动initia

5、l-load extract 325.2.7 配置初始化replicat 325.2.8 在目标端，启动initial-load replicat 335.2.9 在目标端，启动复制进程 336 日常管理和维护 356.1 故障切换 356.2 一些错误和警告信息 366.2.1 错误 366.2.2 警告 371 GoldenGate简介1.1 GoldenGate目的 实时报表 实时BI 无缝升级、迁移 数据集中（EPM，Exadata）1.2 GoldenGate和同类产品的差异1.2.1 支持异构平台核心架构 支持多数据库平台 规范的跟踪文件（trail file）格式 规范的元数据定

6、义 自动通用数据类型映射数据抓取方法 日志截取（直接文件访问） 数据库内建日志接口(log API) Intercepts/exits Vendor-provided access modules针对Oracle的特性 支持RAC，ASM 支持IOT（Index-organized Table） 支持Clustered Table，object Table 支持DDL ALO（archivelog only）模式 Off-platform capture (LOGSOURCE) Multi-threaded capture1.2.2 交易的完整性交易边界（Transaction boundar

7、ies） 在GG跟踪文件中记录 根据提交顺序记录交易 根据record filtering或者trail splits 自动调整Boundaries交易完整性（Transaction integrity） Checkpointing and recovery are based on transaction boundaries Original commit sequence is maintained by the delivery process1.3 GoldenGate产品For Unix/Linux，Windows GoldenGate TDM（Transactional Data

8、 Management） GoldenGate Director GoldenGate Veridata TDM Integration Edition TDM Netezza Integration TDM Greenplum IntegrationFor NonStop2 GoldenGate技术原理2.1 GoldenGate架构和原理2.2 GoldenGate CheckPoint抓取过程中的检查点写入过程中的检查点2.3 Parameters, Process GroupsGoldenGate进程的参数文件以ASCII 编码保存。进程组包含以下组件： Extract/replica

9、t进程 相关参数文件 相关检查点文件 其他进程相关的文件2.4 GoldenGate配置过程3 GoldenGate环境准备源端是一个RACdb1 db2: RHEL 5/ORACLE 10.2.0.4/ ASM目标端是一个单机linuxgg: RHEL 5 ORACLE 10.2.0.4 + ASM两台主机均已创建数据库，sid分别为moon 和 moongg配置moon到 moongg的数据同步goldengate版本11.1.1.03.1 创建系统用户在源端(包括db1和db2)和目标端创建用户，用于管理GoldenGate：useradd -g oinstall -G dba gold

10、engatepasswd goldengate配置资源限制：官方建议尽可能将资源限制放开，其实我们可以根据具体情况进行配置，但不能设得太小cat /etc/security/limits.conf /etc/rc.local3.3 目标端系统配置目标端是一个单机，安装到/opt/ggs下#mkdir /opt/ggs在源端和目标端上，赋予goldengate用户/opt/ggs目录的使用权限chown -R goldengate:oinstall /opt/ggschmod -R 775 /opt/ggs3.4 安装goldengate软件安装GoldenGate软件很简单，解压即可源端(db

11、1)和目标端都做：以goldengate用户登录goldengatedb1$ mkdir /opt/ggs/goldengate、goldengatedb1$ cp ggs_Linux_x64_ora10g_64bit_v11_1_1_0_0_078.tar /opt/ggs/goldengategoldengatedb1$ cd /opt/ggs/goldengategoldengatedb1$ tar -xvf ggs_Linux_x64_ora10g_64bit_v11_1_1_0_0_078.tar源端(db1和db2)和目标端：修改goldengate用户的环境变量配置文件(ORAC

12、LE_SID按实际情况修改)cat/home/goldengate/.bashrc not found，检查LD_LIBRARY_PATH环境变量的设置goldengatelinuxgg goldengate$ source /.bashrcgoldengatelinuxgg goldengate$ cd $GG_HOMEgoldengatelinuxgg goldengate$ ldd ggscilibdl.so.2 = /lib64/libdl.so.2 (0x00000037a3900000)libicui18n.so.38 = /opt/ggs/goldengate/libicui18

13、n.so.38 (0x0000002a9558c000)libicuuc.so.38 = /opt/ggs/goldengate/libicuuc.so.38 (0x0000002a958ec000) libicudata.so.38 = /opt/ggs/goldengate/libicudata.so.38 (0x0000002a95c25000)libpthread.so.0 = /lib64/tls/libpthread.so.0 (0x00000037a3d00000)libxerces-c.so.28 = /opt/ggs/goldengate/libxerces-c.so.28

14、(0x0000002a968fc000)libnnz10.so = /opt/app/oracle/product/10.2.0/db_1/lib/libnnz10.so (0x0000002a96e13000)libclntsh.so.10.1 = /opt/app/oracle/product/10.2.0/db_1/lib/libclntsh.so.10.1 (0x0000002a972b4000)libstdc+.so.6 = /usr/lib64/libstdc+.so.6 (0x00000037a5d00000)libm.so.6 = /lib64/tls/libm.so.6 (0

15、x00000037a3700000)libgcc_s.so.1 = /lib64/libgcc_s.so.1 (0x00000037a5b00000)libc.so.6 = /lib64/tls/libc.so.6 (0x00000037a3400000)/lib64/ld-linux-x86-64.so.2 (0x00000037a3000000)libnsl.so.1 = /lib64/libnsl.so.1 (0x00000037a9100000) 3.5 数据库方面的准备3.5.1 在源端数据库中打开归档模式SQL archive log list Database log mode

16、Archive ModeAutomatic archival EnabledArchive destination +RECOVERY_DGOldest online log sequence 120Next log sequence to archive 121Current log sequence 121若处于非归档模式，则改为归档模式：SQL shutdown immediateDatabase closed.Database dismounted.ORACLE instance shut down.SQL startup mount;ORACLE instance started.S

17、QL alter database archivelog;Database altered.SQL alter database open;Database altered.SQL3.5.2 在源端数据库中打开force loggingSQL select force_logging from v$database;FOR-NOSQL alter database force logging;Database altered.SQL select force_logging from v$database;FOR-YES 3.5.3 在源端数据库中打开supplemental logSQL s

18、elect supplemental_log_data_min from v$database;SUPPLEME-NOSQL alter database add supplemental log data;Database altered. 切换日志，使更改生效SQL alter system switch logfile;System altered.SQL select supplemental_log_data_min from v$database;SUPPLEME-YES 3.5.4 在源端数据库中关闭回收站官方的说明是，由于一个已知的问题，回收站会对DDL触发器产生影响，因此需要

19、关闭。由此可见，我们只需要在源库中关闭回收站即可。SQL show parameter recyclebinNAME TYPE VALUE- - -recyclebin string on SQL alter system set recyclebin=off;System altered.SQL show parameter recyclebinNAME TYPE- -VALUE-recyclebin stringOFF3.5.5 确保goldengate能够连接到数据库的ASM实例RAC中所有节点都要配置 在源端TNSNAMES.ORA中配置ASM实例信息vi $ORACLE_HOME/n

20、etwork/admin/tnsnames.oraORADB_ASM = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = db1-vip)(PORT = 1521) (ADDRESS = (PROTOCOL = TCP)(HOST = db2-vip)(PORT = 1521) (LOAD_BALANCE = yes) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = +ASM) ) )在源端LISTENER.ORA中配置ASM实例的相关信息vi $ORACLE_HOME/network

21、/admin/listener.oraSID_LIST_LISTENER_DB1 = (SID_LIST = (SID_DESC = (GLOBAL_DBNAME = oradb) (ORACLE_HOME = /opt/app/oracle/product/10.2.0/db_1) (SID_NAME = oradb1) ) (SID_DESC = (GLOBAL_DBNAME = +ASM) (ORACLE_HOME = /opt/app/oracle/product/10.2.0/db_1) (SID_NAME = +ASM1) ) )上面是db1中的配置，db2中的SID_LIST_L

22、ISTENER_xxx 和SID_NAME要相应修改重启监听lsnrctl reload通过sqlplus sys/xxxoradb_asm as sysdba来连接asm实例，能连上则说明配置成功3.5.6 字符集1. 目标数据库的字符集必须是源数据库字符集的超集2. 数据库字符集必须为客户端应用程序字符集的超集SQL SHOW PARAMETER NLS_LANGUAGENAME TYPE VALUE- - -nls_language string SIMPLIFIED CHINESE SQL SHOW PARAMETER NLS_TERRITORYNAME TYPE VALUE- - -nls_territory string CHINASQL SELECT name, value$ from SYS.PROPS$ WHERE name = NLS_CHARACTERSET;NAME-VALUE$-NLS_CHARACTERSETZHS16GBKSQL SHOW PARAMETER NLS_LENGTH_SEMANTICSNAME TYPE VALUE- - -nls_length_semantics string BYTESQL设置终端的字符集：root用户登录，源(db1和db2)和目标端都做cat /etc/bash