GoldenGate软件监控与运维指南.docx

1、GoldenGate软件监控与运维指南Goldengate 软件监控与运维指南XXX GoldenGate 软件监控与运维指南1. 引言1.1 概述本章节所有文本均基于Oracle GoldenGate V10.4版本。所有部署在生产系统的GoldenGate进程，均需要经过XXX开发、测试小组严格认真的测试之后才可以进行部署。对于运行维护中出现的问题，也需要开发、测试和运维小组密切配合，查找原因，商定解决方案，经过测试之后部署到生产系统。GoldenGate复制软件本身有一些限制，可能不支持或有限支持某些场景下的数据复制。应明确了解这些限制，并在实际生产中避免这些情况。参见参考文档。1.2

2、术语和缩略语完整说法缩略说法1. GoldenGateGG2. Java Rumtime EnvironmentJRE3. ExtractGoldenGate软件的抽取进程，又叫Capture进程，一般用于抽取数据库日志抓取数据变化或将本地队列中数据传递到目标端。4. ReplicatGoldenGate软件的投递进程，又称为Delivery进程，用于将队列文件中的数据变化转换为sql应用到目标库。5. Data Pump专指将本地队列中数据传递到目标端的Extract进程，区别于读取日志的主Extract进程。6. TrailGoldenGate的队列文件，存储增删改等数据变化，以其专有格式

3、存放。 注： GoldenGate术语中把Capture和Datapump进程都叫做Extract进程，这是因为二者都负责把数据从一个地方抽取出来，放到另一个地方。但是二者有根本的不同：Capture进程负责将数据从日志中抽取到本地队列文件，而Datapump进程负责将数据从本地队列文件抽取到目标端队列文件。本文中，提到Extract进程的地方，都包含了这两类进程；提到Capture和Datapump进程，则分别有所指代。本文中的Delivery进程和Replicat进程则是同一回事。2. 基于命令行的监控2.1 说明对GoldenGate实例进行监控，最简单的办法是通过GGSCI命令行的方式

4、进行。通过在命令行输入一系列命令，并查看返回信息，来判断GoldenGate运行情况是否正常。命令行返回的信息包括整体概况、进程运行状态、检查点信息、参数文件配置、延时等。除了直接通过主机登录GGSCI界面之外，也可以通过GoldenGate Director Web界面登录到每个GoldenGate实例，并运行GGSCI命令。因为XXX部署了很多GoldenGate实例，如果单独登录到每个实例的GGSCI界面，会很不方便。所以，建议通过GoldenGate Director Web界面，登录到每个实例，并运行命令行命令。2.2 启动GoldenGate进程1) 首先以启动GoldenGate

5、进程的系统用户（一般为oracle）登录源系统。2) 进入GoldenGate安装目录，执行./ggsci进入命令行模式。3) 启动源端管理进程GGSCI start mgr4) 同样登陆到目标端GoldenGate安装目录，执行./ggsci，然后执行GGSCI start mgr启动管理进程。5) 在源端执行GGSCI start er *启动所有进程6) 同样登录到备份端执行GGSCI start er *启动所有进程7) 使用GGSCI info er * 或者 GGSCI info 察看进程状态是否为Running（表示已经启动）。注意有的进程需要几分钟起来，请重复命令观察其启动状态

6、。说明：无论源还是目标，启动各extract/replicat进程前需要启动mgr进程。start 命令的一般用法是：start 如：GGSCI start extdm 启动一个名叫extdm的进程也可以使用通配符，如：GGSCI start er * 启动所有的extract和replicat进程GGSCI start extract *d* 启动所有的包含字符dextract进程GGSCI start replicat rep* 启动所有以“rep“开头的replicat进程2.3 停止GoldenGate进程依照以下步骤停止GoldenGate进程：1) 以启动GoldenGate进程的

7、系统用户（一般为oracle）登录源主机，进入GoldenGate安装目录执行./ggsci进入命令行管理界面2) （本步骤仅针对抽取日志的主extract进程， data pump进程和replicat进程不需要本步骤）验证GoldenGate的抽取进程重起所需的日志存在，对各个主extXX进程，执行如下命令：ggsci info extXX, showch.Read Checkpoint #1. Recovery Checkpoint (position of oldest unprocessed transaction in the data source): Thread #: 1 S

8、equence #: 9671 RBA: 239077904 Timestamp: 2008-05-20 11:39:07.000000 SCN: 2195.1048654191 Redo File: Not available Current Checkpoint (position of last record read in the data source): Thread #: 1 Sequence #: 9671 RBA: 239377476 Timestamp: 2008-05-20 11:39:10.000000 SCN: 2195.1048654339 Redo File: N

9、ot AvailableRead Checkpoint #2. Recovery Checkpoint (position of oldest unprocessed transaction in the data source): Thread #: 2 Sequence #: 5287 RBA: 131154160 Timestamp: 2008-05-20 11:37:42.000000 SCN: 2195.1048640151 Redo File: /dev/rredo07 Current Checkpoint (position of last record read in the

10、data source): Thread #: 2 Sequence #: 5287 RBA: 138594492 Timestamp: 2008-05-20 11:39:14.000000 SCN: 2195.1048654739 Redo File: /dev/rredo07.首先察看Recovery Checkpoint所需要读取的最古老日志序列号，如举例中的实例1需要日志9671及其以后所有归档日志，实例2需要序列号为5287及以后所有归档日志，确认这些归档日志存在于归档日志目录后才可以执行下一步重起。如果这些日志已经被删除，则下次重新启动需要先恢复归档日志。3) 执行GGSCI st

11、op er *停止所有源进程，或者分别对各个进程执行stop 单独停止。4) 以oracle用户登录目标系统，进入安装目录/oraclelog1/goldengate，执行./ggsci进入命令行。5) 在目标系统执行stop er *停止复制6) 在两端进程都已停止的情况下,如需要可通过stop mgr停止各系统内的管理进程。类似的，stop命令具有跟start命令一样的用法。这里不再赘述。注意，如果是只修改抽取或者复制进程参数，则不需要停止MGR。不要轻易停止MGR进程，并且慎重使用通配符er *， 以免对其他复制进程造成不利影响。2.4 查看整体运行情况进入到GoldenGate安装目录

12、，运行GGSCI，然后使用info all命令查看整体运行情况。如下图示：Group表示进程的名称（MGR进程不显示名字）；Lag表示进程的延时；Status表示进程的状态。有四种状态：STARTING: 表示正在启动过程中RUNNING：表示进程正常运行STOPPED：表示进程被正常关闭ABENDED：表示进程非正常关闭，需要进一步调查原因正常情况下，所有进程的状态应该为RUNNING，且Lag应该在一个合理的范围内。2.5 查看参数设置使用view params 可以查看进程的参数设置。该命令同样支持通配符*。2.6 查看进程状态使用info 命令可以查看进程信息。可以查看到的信息包括进程

13、状态、checkpoint信息、延时等。如：还可以使用info detail 命令查看更详细的信息。包括所使用的trail文件，参数文件、报告文件、警告日志的位置等。如：使用info showch 命令可以查看到详细的关于checkpoint的信息，用于查看GoldenGate进程处理过的事务记录。其中比较重要的是extract进程的recovery checkpoint，它表示源数据中最早的未被处理的事务；通过recovery checkpoint可以查看到该事务的redo log位于哪个日志文件以及该日志文件的序列号。所有序列号比它大的日志文件，均需要保留。2.7 查看延时GGSCI la

14、g 可以查看详细的延时信息。如：此命令比用info命令查看到的延时信息更加精确。注意，此命令只能够查看到最后一条处理过的记录的延时信息。此命令支持通配符 *。 2.8 查看统计信息GGSCI stats ,table . 可以查看进程处理的记录数。该报告会详细的列出处理的类型和记录数。如：GGSCI stats edr, total列出自进程启动以来处理的所有记录数。GGSCI stats edr, daily, table gg.test列出当天以来处理的有关gg.test表的所有记录数。2.9 查看运行报告GGSCI view report 可以查看运行报告。如：也可以进入到 /dirrp

15、t/目录下，查看对应的报告文件。最新的报告总是以.rpt命名的。加后缀数字的报告是历史报告，数字越大对应的时间越久。如下图示：如果进程运行时有错误，则报告文件中会包括错误代码和详细的错误诊断信息。通过查找错误代码，可以帮助定位错误原因，解决问题。3. 基于GoldenGate Director的监控3.1 GoldenGate Director概述GoldenGate Director提供了图形化的界面，并且可以管理多个GG实例。XXX需要部署多个GG实例，每个实例部署在一个单独的服务器上。如果使用命令行方式进行监控和维护，则每次都需要登录到每个单独的服务器，极不方便。使用GoldenGate

16、 Director，只需要事先配置好连接，就可以在一个Web界面下统一监控所有的GG实例。在Web界面下，也可以运行GGSCI命令。第二章介绍的命令，均可以在Web界面下执行。GoldenGate Director 体系架构上图中，1) GoldenGate Instances是需要被管理的实例。多个实例注册到同一个GoldenGate Server上，统一被管理。2) Director Server是Director服务端，需要部署在Weblogic Server下。3) Director Database用来存放Director Server资料库的数据库。4) Director Admi

17、nistrator是管理Director Server的客户端工具，主要负责实例的注册和配置。必须和Director Client一起安装。5) Director Client是一款客户端工具，也可以用于监控实例。在XXX环境下，建议不使用此工具。但是安装时，必需安装此工具才能使用Director Administrator。6) Director Web是一款基于浏览器的监控工具，可以通过统一的web界面监控多个GoldeGate实例。本章主要内容就是介绍Director Web的使用。3.2 GoldenGate Director的安装部署3.2.1 部署方案及必需条件GoldenGate

18、 Director部署方案如上图示，分两台服务器部署GoldenGate Director：1) Linux服务器端：在一台专用的Linux服务器上部署Director Server。要求如下：a) 操作系统与网络： 支持Solaris、AIX或者Redhat Linux 需要一个专用的端口号，用于Director Server Http服务。默认是7001。 能够连接到被监控GG实例所在的服务器b) 硬件：1GB以上内存，1.5GB以上磁盘空间c) 软件： 安装JRE 6.0版本 安装Oracle Weblogic Server 11g标准版。（不需要预先设置Domain Name）d) 数

19、据库： 安装Oracle Database 10g，用于存放Director Server的资料库 资料库约占用200M数据库存储空间 创建一个用于存放资料库的数据库用户名(即Schema)，其密码至少有8位，并且至少包含一位字母和一位数字。在该用户使用的表空间上，设置QUATO UNLIMITED。最好为其赋予DBA角色。2) Windows服务器端在一台Windows服务器上安装客户端工具。要求如下：a) 操作系统与网络： 支持Windows NT、2000、XP或Vista 能够连接到Director Server所在的服务器b) 硬件： 1G以上内存，500M以上磁盘空间 显示器分辨率

20、在1024768以上c) 软件： 安装JRE 6.0版本 浏览器：IE5.0以上、FireFox1.3以上、Safira1.2以上。3.2.2 安装GoldenGate Director Server安装步骤如下：1 打开安装文件，在弹出的欢迎界面上点Next。2 选择安装目录。3 输入Weblogic Server的安装目录，以及Domain Name(如GGMonitor)。4 输入HTTP端口。5 选择数据库类型。选择Oracle Database。6 配置数据库连接。7 配置数据库用户名和密码。8 检查各项配置之后，就可以开始安装。输入Weblogic Server安装目录及Domai

21、n Name输入HTTP端口选择数据库类型配置数据库连接配置数据库用户名和密码3.2.3 安装GoldenGate Director ClientGoldenGate Director Client的安装非常简单。启动安装文件后，一路按照提示安装即可。需要说明的是，GoldenGate Director Client中包含了管理工具。需要通过管理工具对GoldenGate Director Server进行配置。3.3 启动GoldenGate Server启动Director Server之前，必须确保Director Database已经启动并正常运行。 启动步骤：1) 进入安装目录2)

22、运行./domain/startWebLogic.sh 3.4 配置被监控实例进入到GoldenGate Director Client安装目录，打开GDSC Admin Tool.exe。首次登陆的用户名和密码是admin/admin。进入到Director Server管理界面，点击Data Sources选项卡（一个Data Source代表一个GG实例）。如图：Director Administrator Tool配置界面这里需要配置需要监管维护的GG实例。创建Data Source的过程如下：Host Identity: Fully Qualified Domain Name : G

23、G实例所在的服务器名 Manager Port : GG实例MGR进程端口号 Data Source Name :原则上可以填写任何名称。建议制定命名规范。 点击CheckConnection 验证连接。验证成功后点击Close。 GoldenGate Info: Host Operating System: 选择WU（即windows/unix意思） Database: 选择数据库类型。Oracle数据库应选择ORA。 GoldenGate Version : 10.4 点击 “Save”，然后点击“Yes”。从左侧的面板上选择刚才创建的Data Source，填写完其他信息，包括：Defa

24、ult DB Credential: DSN: 数据库实例名或服务名 Username : 用户名 Password & Confirm Password : 密码Access Control: Owner : 选择admin 勾选Host is Observable选项 GoldenGate Version : 10.4 (需要再填写一次) 点击“Save”关于Data Source的命名规范，建议采用如下格式：_如：source_host01_oracle3.5 登录Director Web监控界面要进入Director Web界面，在浏览器里面输入网址：http:/:/acon。如：ht

25、tp:/gg_director_server:7001/acon是Director Server所在服务器的主机名或IP地址，为安装时选择的端口号。要确保开启此端口号给Director Server专用。首次进入Director Web，需要输入用户名和密码(默认为admin/admin)。进入之后的主界面如下图示：Director Web 主界面整个主界面分为三个区域：左侧面板包含了所有GG实例的列表以及一些功能链接。右侧上方按照GG实例分组列出了每个实例上所有进程的概况。右侧下方列出了所选实例的事件日志。3.6 监控整体运行情况首先查看主界面左侧面板，点击一个实例左边的黑三角符号可以展开该

26、实例，查看到具体的进程。右侧面板也会有相应的变化，列出该实例下所有进程的概要信息以及事件日志。 表示实例正在运行（MGR进程正常运行）表示实例没有启动（MGR进程已停止）表示进程正常运行表示进程正常停止表示进程非正常停止，需要进一步调查原因。同时会用红色的Abended字样标示。 3.7 监控进程状态右侧上方的面板显示了每一个进程的概要信息。点击More Info查看详细的进程信息。这里可以查看到进程报告文件、详细信息、历史延时情况以及被丢弃的记录。Discard File是进程用来存放丢弃记录的文件。如果该文件中有记录，需要详细查看记录情况，分析记录被丢弃的原因，并解决相关问题。3.8 手工

27、配置重点监控列表默认情况下，所有进程都是按照实例分组排列的。实际监控过程中，需要把某些关联的进程组合在一起（有可能不在同一个实例）。可以通过配置监控列表的方式实现这个目标。点击左侧面板的Watch Lists旁边的黑三角，然后点击Configure Watch Lists。在新弹出的窗口中添加Watch List。如图示： Watch List Name：为监控列表起一个名字。 Include in list：选择需要监控的进程。 Event Log Filter：选择显示哪些类型的事件消息（建议只选择Warning和Error信息）。填写好以上信息后点击Save。回到原来的页面，点击新添加的

28、监控列表，可以看到右边面板显示的信息也发生了相应的变化：只有监控列表中相关进程的信息被显示了出来。建议把一些重要且相关的进程组合到同一个Watch List中，以方便监控。一般来讲，同步一张表到目标需要三个进程：Capture进程，Datapump进程和Delivery进程。其中，Capture进程和Datapump进程一般在同一个GG实例中，Delivery进程在另一个实例中。将同步相同表的三个进程组合到一起，能够较好的监控GoldenGate复制过程。添加Watch List通过Watch List重点监控3.9 查看事件日志主界面右侧下方是事件日志。Info事件只是一般的事件，如收到st

29、ats命令等，不会对GoldenGate的正常运行造成影响。Warning事件是有可能对GoldenGate造成影响的事件，如停止MGR进程等。Error事件需要引起关注，表示有重大错误发生，已经影响到了GoldenGate的正常运行。点击右上角的Filter按钮，把Show Information和Show Un-acknowledged Only两项勾选掉。这样，仅Warning和Error信息被显示出来，便于发现问题。筛选事件类型筛选后的情况3.10 Email告警开启Email告警功能需要事先部署一个Mail服务器。点击主界面左侧面板上My Email Alerts链接，在新窗口中填写

30、以下信息： Alert Name：告警的名字 Alert Type：有两种类型可供选择。如果选择Process Lag,则需要指定一个时限，超过这个时限会引发告警。如果选择Event Text，则需要指定Event Type（Error，Warning等），以及Event text中包含的文本。当Event消息中包含此文本时，会引发告警。支持通配符*。 Process Name：进程名称，支持通配符*。 Sent an email to：目标邮件地址 With the subject：邮件标题 From Address：发送方地址 Mail server：邮件服务器，需要事先部署。 Email 告警3.11 运行GGSCI命令选择主界面右上方某个实例，点击实例下方的GGSCI图标，进入命令行交互页面。在这里，可以输入各种命令，并显示输出结果。具体命令，请参考第二章内容。GGSCI 交互页