《叱咤风云GoldenGate企业级运维实战》第1章GoldenGate概述汇总.docx

1、叱咤风云GoldenGate企业级运维实战第1章GoldenGate概述汇总第1章 GoldenGate概述GoldenGate现在是业内成熟的数据容灾与复制产品，经过多年的发展和完善，现在已 经成为业内事实上的标准之一。1.1GoldenGate 的历史GoldenGate公司于1995年成立于美国加州旧金山，它的名称源自旧金山闻名于世的 金门大桥。两位创始人 Eric Fish和Todd Davidson最初旨在为Tandem计算机公司设计一个 容错系统，由于 GoldenGate的健壮性和出色的数据复制功能，银行用它来把 ATM网络的 交易数据发送到IBM大型机，后来广泛地应用到金融行业

2、及要求数据复制高效、 健壮的各个行业，全球licences数量超过4000。该公司于2009年9月被Oracle公司收购，在此之前 Oracle和GoldenGate公司就有了 长达超过10年的合作关系。Oracle收购GoldenGate以后，按照 Oracle公司的一贯策略， 迅速把它和自己的数据库、中间件以及应用集成，依托 Oracle公司研发技术的优势，并对其做了大量的更新和改进。截止到目前为止，全球已经有五百多家大客户使用 Golde nGate作为其容灾、复制的解决方案。作为一个企业级的成熟产品，因为其快速、易用、灵活、 健壮等特性，越来越多的用户把它作为关键业务系统容灾、 复制、

3、同步的首选。随着Oracle公司对其不断改进，这个产品会越来越稳定、成熟、可靠，同时也会有更多人去学习它， 使用它。目前GoldenGate的最新版本为11.1，为了和Oracle数据库、中间件产品的称谓保持一 致，Oracle称之为11g,目前Oracle公司把它归到 Fusion Middleware，也就是融合中间件 产品线中。但实际上它和数据库的联系更加紧密，有经验的 DBA花较短的时间就可以迅速地掌握它。1.2GoldenGate 家族Oracle GoldenGate 最为常见的家族成员包括 GoldenGate、GoldenGate Director （现更名为GoldenGat

4、e Management Pack，但是绝大部分熟悉 GoldenGate的人还是习惯性地称其 为GoldenGate Director，为了保证上下文的一致性， 这里统一称其为 GoldenGate Director ）、GoldenGate Veridata。另外，也有不太常见的 GoldenGate for Mainframe 和 GoldenGateAdapters。GoldenGate产品是核心产品，GoldenGate Director为GoldenGate提供友好的 GUI配置 管理界面，而GoldenGate Veridata为GoldenGate源端和目标端提供数据比对和校验

5、的功能。注意这三者并不是一个打包的产品， 比如如果您购买了 GoldenGate软件，如果需要图形界面或需要数据校验的功能，就需要额外购买 GoldenGate Director或者GoldenGateVeridata。1.3GoldenGate 及 Oracle 产品战略在Oracle收购GoldenGate以后，与 Oracle原有的 Data Guard、ODI互为补充，共同 为企业提供跨平台实时数据同步的解决方案。与此同时，又可以与 Oracle Real Applicatio nCluster、Data Guard 一起为用户提供丰富、灵活的容灾方案及高可用特性，这既是 Oracle

6、公司当前也是其未来的产品发展策略与方向。另外有的读者可能注意到了 Oracle公司对其集成在数据库中的 Streams的态度的一些变化。Oracle公司声称对其产品 Streams将不再做任何重大改进， 而是会把Streams的一些优秀特性集成到 GoldenGate产品上来，同时Oracle也承诺继续对现有使用 Streams的客户提供技术支持。与此同时，集成在Oracle数据库中的另外一项逻辑复制产品 Data GuardLogical Standby也遭受了同样的命运。 Oracle对其产品线可整合能力可见一斑。1.4GoldenGate支持的平台以及数据库截止到笔者撰写本书为止，Gol

7、denGate几乎支持市面上流行的所有主流操作系统平台 和数据库。在不同的平台生成的 core文件，有不同的本地堆栈跟踪工具来分析见表 1-1。表1-1数据库产品操作系统及平台源端目标端Oracle Database所有源端支持的数据库Windows 2000、2003、XP、Server 2008MySQLHP NeoviewLinuxIBM DB2ETL productsOracle SlarisMicrosoft SQL ServerJMS message queuesHP NoStopSybase ASENetezzaHP-UXIngres及任何ODBC兼容的数据库HP-TRU64Ti

8、mestenHP-OpenVMSTeradataIBM AIXEnscribeIBM z/OSSQL/MPSQL/MX目前经过GoldenGate 11.1认证的主流数据库版本包括以下几种。Oracle 8i （只支持 DML）。Oracle 9 i以上所有的数据库版本 （支持DML和DDL）。IBM DB2 UDB 8.1 、8.2、9.1、9.5 以上版本（只支持 DML ）。 Microsoft SQL Server 2000、2005 和 2008 （只支持 DML ）。MySQL 4.1、5.0 （只支持 DML ）。Sybase ASE 12.5.4、15.0 （只支持 DML ）

9、。除Oracle数据库9i以上版本支持 DDL以外，8i及其他数据库均不支持 DDL。其他经认证的操作系统及数据库版本请参见资料篇的列表。1.5GoldenGate 的定位零宕机时间数据库升级和迁移。满足用户亚秒级实时数据的需求。可持续的数据高可用性和实时商务智能。异构平台及跨操作系统实时数据同步。对源系统和目标系统是非侵入式的。1.6GoldenGate 技术架构和传统的逻辑复制一样， Oracle GoldenGate实现原理是通过抽取源端的 redo log或者archive log，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现 同源端数据同步。图 1-1是O

10、racle GoldenGate的技术架构。图1-11.6.1Manager 进程Manager进程是GoldenGate的控制进程。如果把所有的 Oracle进程比喻为军队， 那么 Manager就相当于司令。Manager进程运行在源端和目标端上，它主要有以下几个方面的 作用：启动、监控、重启 GoldenGate的其他进程，报告错误及事件，分配数据存储空间，发布阈值报告等。每个源端或者 目标端有且只能存在一个Manager进程。其运行状态有两种即 RUNNING （正在运行）和 STOPPED （已经停止）。在Windows系统上，Manager进程是作为一个服务来启动的，而在类 UNI

11、X系统中， Manager则是一个操作系统进程。1.6.2Extract 进程Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。在早期的GoldenGate版本中，它通常被称为 Collect进程。按照其所处的阶段不同， Extract的作用可以按照时间来划分。初始数据装载阶段：在初始数据装载阶段， Extract进程直接从源端的数据表中抽取数据。 同步变化捕获阶段：初始数据同步完成以后， Extract进程负责捕获源端数据的变化（DML 和 DDL）。Extract进程利用其内在的 checkpoint机制，周期性地检查并记录其读写的位置，通常 是写入到一个本地的 trai

12、l文件。这种机制是为了保证如果 Extract进程终止或者操作系统宕机，重新启动Extract进程后，GoldenGate能够恢复到以前的状态， 从上一个断点处继续往下运行，而不会有任何数据损失。Extract进程的状态包括 STOPPED （正常停止）、STARTING （正在启动）、RUNNING （正在运行）、ABENDED （Abnomal End的缩写，表示异常结束）。1.6.3Pump 进程Pump进程运行在数据库源端，其作用非常简单。如果源端使用了本地的 trail文件，那么Pump进程就会把trail以数据块的形式通过 TCP/IP协议发送到目标端，这通常也是推 荐的方式。Pu

13、mp进程本质是Extract进程的一种特殊形式，如果不使用 trail文件，那么就 是Extract进程在抽取完数据以后，直接投递到目标端。与Pump进程相对应的叫做 Server Collector进程，这个进程不需要引起人们的关注， 因为在实际操作过程中无需对其进行任何配置，所以对人们来说它是透明的。它运行在目 标端，其任务就是把 Extract/Pump投递过来的数据块重新组装成 trail文件，人们称之为远程trail文件。1.6.4Trail 文件GoldenGate 引进 trail为了更有效、更安全地把数据库事务信息从源端投递到目标端,文件的概念。前面提到 Extract抽取完数

14、据以后 GoldenGate会将抽取的事务信息转化为一种GoldenGate专有格式的文件，然后Pump负责把源端的trail文件投递到目标端，所以源、 目标两端都会存在这种文件，源端存放的 trail文件叫本地trail文件，目标端存放的 trail文件叫远程trail文件。trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且 使用checkpoint机制来记录其读写位置，如果故障发生，则数据可以根据 checkpoint记录的位置来重传。值得一提的是，trail文件并不总是必须的。人们可以在配置 Extract进程的时候通过TCP/IP协议直接把日志的信息投递到目标端。 但通常

15、并不推荐这么做， 因为一旦发生系统宕机或者网络故障，则有可能造成数据的丢失。1.6.5Replicat 进程Replicat进程，通常也把它叫做应用进程。运行在目标端，是数据传递的最后一站， 负责读取目标端trail文件中的内容，并将其解析为 DML或DDL语句，然后应用到目标数 据库中。和Extract进程一样，Replicat也有其内部的 checkpoint机制，保证进程重新启动后可 以从上次记录的位置开始恢复，而无数据损失的风险。它的运行状态和 Extract进程一致，包括 STOPPED、STARTING、RUNNING、ABENDED 。1.6.6GGSCIGGSCI是Golde

16、nGate Software Comma nd In terface 的缩写，它提供了十分丰富的命令 来对GoldenGate进行各种操作，如创建、修改、监控 GoldenGate进程等。绝大部分的操作都是通过它来完成的。当然如果您需要 GUI方式的图形界面来管理,则需要购买 GoldenGate Director 。1.7GoldenGate 的复制模式GoldenGate的模式包括图1-2中描述的几种，其中一对一”是 GoldenGate最简单的一种模式，也是最常用的模式。这种模式的一种典型应用就是用于数据容灾，通常源端数据库为生产端，目标端数据 库为容灾端。另外一种应用场景是把源端的 O

17、LTP系统产生的交易日志传送到目标端， 使用BI数据仓库或者是OLAP。UNIDlRECTrONALRcpurling InslLLnci:图1-21.8各种应用模式展示1.8.1 高可用性：Active-Active高可用性：Active-Active 如图1-3所示。GoldenGate AcliveActivc图1-3优点：实现连续可用性。实现事务加载和分布式（用内嵌的冲突检测）。提高性能。降低TCO。PEER-TO-PEERIM-DIRECTIONAL Load BnlancingJIili AvailabilityI ustant l;ai I over Acli ve-Acli v

18、e1.8.2 零宕机升降和数据迁移零宕机升降和数据迁移如图 1-4所示。Gel denG ale Zero-l.Av nliine Op erat ion sSource Delivery 卩砧 Switchover Dmb Flow C aphire TctCompare & Verify图1-4优点：在硬件，数据库，操作系统或是应用程序升级和数据迁移中消除计划宕机。减小故障恢复应急风险。提高用户迁移数据成功率。1.8.3数据集成：活动备份数据集成：活动备份如图 1-5所示。CioldenGate Live Reporting图1-5优点：使用实时数据更好更快的决策。删除源端报告开销。减少用

19、户的需求和数据量的成本和规模的增长。 报表需求方面利用有效制度。1.8.4 商业智能商业智能如图1-6所示。Gold ciiCj ate Rciil-Time Dalii Warclujusing图1-6优点：使用实时数据更好更快地决策。消除批量窗口依赖关系。减少源端开销。维护数据质量参照完整性。利用其灵活性转换和集成的 ETL。1.8.5事务性数据集成事务性数据集成如图1-7所示。GldcnGdlc TrLinsactiiwnl Ddla Inlcrdlion图1-7优点：在事务处理系统很容易集成大量实时数据量。减少开销，消除批量窗口。提高可扩展性。增强SOA和EDA环境（投递基于 JMS的

20、消息传递系统）。1.9GoldenGate 拓扑结构GoldenGate有着比较灵活的拓扑结构，如图 1-8所示。1.10GoldenGate 10g/11g 新特性（1）添加了在 Oracle E-Business Suite、Oracle PeopleSoft and Oracle JD Edwards 等方面 的解决方案。（2 ）在Oracle Exadata数据库上支持更多的数据类型和导入模式。（3 ）扩展了对异构的支持。一对萝惊数据库丄I丁 丄白q宿日的矗摩 目爲酬 目的谿g库图1-8基于日志的捕获，投递到 IBM DB2 v9.7 。 具有投递至U TimesTen databas

21、es的天赋。以JMS为基础的消息系统中捕获。 自动投递到IBM的DB2。(4 )降低了长事务交易中断所影响的恢复时间。(5 )增强了追踪事务的能力，更容易去排除性能瓶颈。1.11GoldenGate 的优势目前在数据同步/数据复制市场中，除 GoldenGate夕卜，不乏优秀的产品，它们大部分 都是基于redo或归档日志进行记录提取实现与源同步。以下是 Oracle GoldenGate白皮书中列出的 GoldenGate的优势见表1-2。表1-2移动管理集成SpeedTransaction IntegrityHeterogeneous Data Sources-Subsecond Laten

22、cyVolumeTransaction CaptureMapping-Thousands of TPSLog-basedCaptureGuaranteed DeliveryTran sformati onNative,LocalApplyConflict Detection,ResolutionEnrichmentEfficient I/O and Band with UsageDynamic RollbackDecoupled ArchitectureBidirectionalIncremental TDMTable,Row,Column FilteringGroup Transaction

23、sInitial Data LoadXML,ASCCI,SQL FormatsBulk OperationsGUI-based Monitoring andQueue InterfaceConfigurationCompressionProactive AlertsStored ProceduresOne-to-Many,Many-to-OneEncrptionUser ExitsCascadeReal-Time Deferred or BatchETL IntegrationEvent MarkersJava/JMS Integration1.12GoldenGate 应用情况1高可用性与容灾容灾与应急备份。消除计划内停机。双业务中心。OLTP 和 OLAP 分开。2主数据数据库移植、升级3实时数据集成数据仓库实时供给。实时报表。政府、企业垂直部门级数据同步。主数据。