goldengate安装测试文档.docx

1、goldengate安装测试文档初尝oracle GoldenGate 备份软件前言GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。GoldenGate 可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。同时，GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓

2、扑结构。环境要求：1. 支持的平台支持的Oracle Database 版本在当前的Oracle GoldenGate 10.4版本中,支持如下Oracle Database版本Oracle 8i (DML support only)Oracle 9.1 and 9.2 (DML and DDL support)Oracle 10.1 and 10.2 (DML and DDL support)Oracle 11g (DML and DDL support)支持的操作系统平台几乎所有主流的操作系统,GoldenGate都支持Windows 2000, 2003, XP,Linux,Sun So

3、laris,HP NonStop,HP-UX2. 操作系统需求内存要求GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数，一般建议2G。DISK空间需求 由于要数据库必须设置为归档模式，所以要求至少保存7天以上的日志，建议剩余空间在10G100G之间。对于RAC环境对于RAC环境,GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数。否则如果运行在单个node上的话

4、,需要将剩余node中的归档日志通过一定的技术共享出来并加载到GoldenGate运行节点。对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步。因为GoldenGate会比较本地的系统时间和commit的时间戳。所以不能忽略这个设置。否则可能导致数据复制的紊乱。3. 数据库需求数据库客户端GoldenGate需要安装full Oracle client,以便于GoldenGate程序访问Oracle XDK libraries。数据库用户建议使用sys或任何其他具有sysdba/sysasm权

5、限的用户。数据库配置对于Source Oracle Database要求数据库处于归档模式下打开补充日志打开force logging分别配置连接源数据库和目标数据库的主机字符串建立一个专门的用户如Goldengate来负责将所需的数据同步到远端，而不是用已有的业务用户这个用户需要哪些权限呢?Create user goldengate identified by goldengate default tablespace users temporary tablespace temp quota unlimited on users ;GRANT CONNECT TO goldengate;

6、GRANT ALTER ANY TABLE TO goldengate;GRANT ALTER SESSION TO goldengate;GRANT CREATE SESSION TO goldengate;GRANT FLASHBACK ANY TABLE TO goldengate;GRANT SELECT ANY DICTIONARY TO goldengate;GRANT SELECT ANY TABLE TO goldengate;GRANT RESOURCE TO goldengate;GRANT drop ANY TABLE TO goldengate;GRANT DBA TO

7、 goldengate;注* 补充日志是否打开查询语句：select supplemental_log_data_min from v$database;打开补充日志语句：alter database add supplemental log data; 打开force logging语句： Alter database force logging;配置golengate环境：os linux 4.7 x86_64 数据库：10.0.2.1 64位 IP设置：源 192.168.8.1 目标 192.168.8.2SID: ORCL1. 安装goldengate 软件在oracle官方网站上下

8、载goldengate对应平台的安装程序进入到GoldenGate的安装目录.运行GGSCIIn GGSCI, issue the following command to create the GoldenGate working directories.CREATE SUBDIRSIssue the following command to exit GGSCI.EXIT2. 数据复制初始化GoldenGate中支持的data load 方法有Loading data with a database utilityLoading data from file to ReplicatLoad

9、ing data from file to database utilityLoading data with a GoldenGate direct loadLoading data with a direct bulk load to SQL*LoaderLoading tables with Teradata table copyLoading data with Teradata load utilities注*这点我没怎么研究，我采用的rman异地恢复3. 配置进程第一步: 在源数据库和目标数据库分别配置管理进程mgrGGSCI edit params mgrport 7809(保存

10、退出)GGSCI start mgrManager started.GGSCI info allProgramStatus Group Lag ime Since ChkptMANAGER RUNNING(可以正常启动)第二步：源数据库增加两个进程*.一般源数据库需要应配置两个进程，一个负责抽取数据(ZLE_01)，另一个负责投递数据(ZLE_02)，默认只支持DML，如果要支持DDL需要执行一些单独的配置。 在源数据库系统中执行如下命令增加一个Extract group,详细的ADD EXTRACT语法参见官方手册说明或GGSCI的online help.GGSCI add extract

11、, TRANLOG, BEGIN NOW, THREADS 其中group name表示这个Extract group的名字TRANLOG 表示使用事务日志的方式BEGIN NOW 表示从现在开始,你也可以指定一个具体的开始时间THREADS 表示从哪个instance上运行,只对RAC环境有用,单机环境比需要指定该Option2.1配置抽取进程我这里是单机环境,extract group name定义为zle_01GGSCI DBLOGIN USERID goldengateorcl1, PASSWORD goldengateGGSCI add extract ZLE_01, tranlog

12、,begin nowEXTRACT added.GGSCI add RMTTRAIL ./dirdat/ra, extract zle_01, megabytes 50查看一下刚才定义的这个extract process的结果GGSCI info extract zle_01EXTRACT ZLE_01 Initialized 2010-01-19 11:50 Status STOPPEDCheckpoint Lag 00:00:00 (updated 00:00:22 ago)Log Read Checkpoint Oracle Redo Logs 2010-01-19 11:50:39 S

13、eqno 0, RBA 0补充一个命令: info extract zle_01, showch 看的更详细为该抽取Extract进程配置参数文件，在源数据库执行如下命令GGSCI edit param zle_01增加如下内容 EXTRACT ZLE_01SETENV (ORACLE_SID=ORCL)USERID goldengateORCL1, PASSWORD goldengateRMTHOST 192.168.8.1, MGRPORT 9001RMTTRAIL ./dirdat/raTABLE ZLHIS.TEST;RMTTRAIL告诉extract process需要将trail文

14、件写到哪里TABLE部分说明我这个Extract 进程只处理ZLHIS用户下的TEST表好了,到这里就可以启动上面定义的Capture 进程了,执行如下命令GGSCI start extract zle_01Sending START request to MANAGER (mgr) .EXTRACT ZLE_01 startingGGSCI Verify the results:GGSCI info EXTRACT ZLE_01, DETAILGGSCI view REPORT ZLE_01GGSCI info extract ZLE_01好了,到这里就完成了一个最简单的抽取Extract

15、process的配置并启动，下面来配置投递Extract process进程。2.2 配置投递进程在Source系统执行如下命令GGSCI ADD EXTRACT ZLE_02, EXTTRAILSOURCE ./dirdat/ra, BEGIN nowGGSCI ADD RMTTRAIL ./dirdat/la, EXTRACT ZLE_02*(./dirdat/la为远端接收目录,必须存在)GGSCI edit params zle_02添加内容如下：extract ZLE_02 dynamicresolutionPASSTHRUrmthost 192.168.8.2, mgrport 9

16、001, compressrmttrail ./dirdat/lanumfiles 3000TABLE ZLHIS.TEST ;GGSCI start extract zle_02Sending START request to MANAGER (mgr) .EXTRACT ZLE_02 starting查看下状态：GGSCI info allProgram Status Group Lag Time Since ChkptMANAGER RUNNING EXTRACT RUNNING ZLE_01 00:00:00 00:00:05 EXTRACT RUNNING ZLE_02 00:00:

17、00 00:00:07 2.3配置接收进程在目标系统(Target system)上执行如下命令增加一个复制组(Replicat Group)GGSCI DBLOGIN USERID goldengateorcl2, PASSWORD goldengateGGSCIadd replicat ZLR_01, EXTTRAIL ./dirdat/la , nodbcheckpoint注,我这个中配置Extract process那个示例对应的,所以这里的exttrail文件名正好是Extract process中定义的RMTTRAIL ./dirdat/la这点需要大家注意.GGSCI edit

18、param ZLR_01增加如下内容并保存退出REPLICAT ZLR_01SETENV (ORACLE_SID=ORCL)USERID goldengateORCL2, PASSWORD goldengateHANDLECOLLISIONSASSUMETARGETDEFSallownoopupdatesdynamicresolutionnumfiles 3000DISCARDFILE ./dirrpt/ ZLR_01.DSC,append,megabytes 10map ZLHIS.TEST , target ZLHIS.TEST ;在Target系统中,执行如下命令GGSCI start

19、replicat ZLR_01Verify the results:GGSCI info replicat ZLR_01REPLICAT ZLR_01 Last Started 2010-01-19 13:50 Status RUNNINGCheckpoint Lag 00:00:00 (updated 00:00:03 ago)Log Read Checkpoint File ./dirdat/la000000 First Record RBA 0查看下状态：GGSCI info allProgram Status Group Lag Time Since ChkptMANAGER RUNN

20、INGREPLICAT RUNNING ZLR_01 00:00:00 00:00:09测试效果在源数据库分别插入、修改、删除一条数据。查看抽取进程状态：GGSCI stats ZLE_01Sending STATS request to EXTRACT ZLE_01 .Start of Statistics at 2010-01-26 02:53:01.Output to ./dirdat/ra:Extracting from ZLHIS.TEST to ZLHIS.TEST:* Total statistics since 2010-01-26 02:15:01 * Total inser

21、ts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00* Daily statistics since 2010-01-26 02:15:01 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00* Hourly statistics since 2010-01-26 02:15:01 * Total inserts 1.00 T

22、otal updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00* Latest statistics since 2010-01-26 02:15:01 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00End of Statistics.可以看到已经有记录，而且已经抽取成功，再查看投递进程，GGSCI stats ZLE_02Sending STATS

23、 request to EXTRACT ZLE_02 .Start of Statistics at 2010-01-26 03:04:13. Output to /u01/ggs/dirdat/re:Extracting from ZLHIS.TEST to ZLHIS.TEST:* Total statistics since 2010-01-26 02:14:25 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Daily stat

24、istics since 2010-01-26 02:14:25 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Hourly statistics since 2010-01-26 03:00:00 * No database operations have been performed. * Latest statistics since 2010-01-26 02:14:25 * Total inserts 1.00 Total u

25、pdates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 End of Statistics.切换到目标数据库环境，同样查看接受应用进程。GGSCI stats ZLR_01Sending STATS request to REPLICAT ZLR_01 .Start of Statistics at 2010-01-26 05:58:36.Replicating from ZLHIS.TEST to ZLHIS.TEST:* Total statistics since 2010-01-26 04:46:

26、57 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00* Daily statistics since 2010-01-26 04:46:57 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00* Hourly statistics since 2010-01-26 05:00:00 * Tota

27、l inserts 0.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 2.00* Latest statistics since 2010-01-26 04:46:57 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00End of Statistics.总结： 以上只是记录了对于GoldenGate软件测试的一小部分，总体感觉Golde

28、nGate同Oracle的流复制非常类似，但又有所不同，对比其各自的应用，各有有缺点： 优点：1 安装、配置简单。2 管理维护相对直观，通过其自带的Oracle Management Pack for Oracle GoldenGate管理工具，能够对其进行图形化界面的管理。3 支持异构复制，如不同用户，不同数据库平台的复制，这也是其亮点所在。4 未来发展潜力还是很看好。缺点：1 官方的软件目前都只支持64位系统。2 由于是第三方工具，对环境要求比较高，特别是在LINUX环境下，对操作系统的字符集有所要求，主要是我们系统中的表名都是中文，必须要其对中文的支持。3 在进行应用进程的参数配置时候发现，对于特别多的表复制，暂时不清楚GoldenGate是否有限制，因为启动的时候，我配置参数对ZLHIS所有表进行复制的时候，会提示“”错误，但是如果只对少数表或者单个表复制的时候，又不出现该提示，这个问题正在核实。4 目前网上能查询到的资料相当有限，普及率不是很高。综上所述，GoldenGate同流复制比较起来的亮点还是在异构上，不过Oracle官方的说法是以后一流的Streams技术将被集成到GoldenGate中，这也是其发展的趋势，其价值对于我们用户的应用来说，还是很值得继续深入研究。