GoldenGate企业级运维实战第12章.docx
《GoldenGate企业级运维实战第12章.docx》由会员分享,可在线阅读,更多相关《GoldenGate企业级运维实战第12章.docx(11页珍藏版)》请在冰豆网上搜索。
GoldenGate企业级运维实战第12章
第12章使用GoldenGateVeridata
进行数据校验
OracleGoldenGateVeridata作为一个独立的产品,是一种高性能的数据对比解决方案,对在两个数据库之间进行数据复制时可能存在的差异进行确认和报告。
GoldenGateVeridata在两端数据库保持在线的情况下进行数据对比。
12.1GoldenGateVeridata概述
GoldenGateVeridata能在Enscribe、Oracle、NonStopSQL/MP、SQLServer、Teradata这几个平台的数据库上比较数据,比较数据时能自动匹配列数据类型。
GoldenGateVeridata的组件包括GoldenGateVeridataServer、GoldenGateVeridataWeb、GoldenGateVeridataRepository、GoldenGateVeridataAgent、GoldenGateVeridataCLI(CommandLineInterface)。
总的逻辑结构如图12-1所示。
图12-1
接下来详细介绍GoldenGateVeridata的各组件。
12.2安装GoldenGateVeridata
安装GoldenGateVeridata不需要GoldenGate复制软件的支持,如果您已经安装了GoldenGate复制软件的话,则需要将GoldenGateVeridata安装到不同的路径。
12.2.1安装GoldenGateVeridata系统需求
1.GoldenGateVeridataAgent对系统的需求
一般需要在每个要比较的数据库上安装Agent,其中Agent又分为Java-Agent与C-Agent。
对于Java-Agent,需要系统安装JRE或者JDK,最低版本为1.5。
Java-Agent对数据库的需求:
Oracle确定监听已正确配置并运行。
SQLServer一个固态的TCP/IP端口已配置并且没被占用。
Teradata需要知道hostname与数据库使用的端口,安装Java-Agent之前需要上官网下载相应的JDBC驱动。
C-Agent对系统的需求:
C-Agent对Oracle数据库是可选的,但是在同构数据库的比较上它可以提供更好的性能,对于Oracle数据库,C-Agent需要用到Oracle的运行支持库,所以在Oracle数据库平台安装C-Agent,首先需要确认环境变量有相应的路径,比如libpath。
Agent需要至少1GB的内存空间,至少200M的磁盘空间,主要用来进行数据的比较,同时需要有相应的数据库权限。
2.GoldenGateVeridataServer对系统的需求
需要安装MicrosoftVisualC++2005Redistributable包。
需要一个数据库来存储GoldenGateVeridataWeb产生的信息及环境属性。
支持的数据有MySQL、Oracle、SQLServer。
另外,至少30M的内存空间,一定的磁盘空间,还有相应的数据库权限。
12.2.2安装GoldenGateVeridata代理
在对数据进行比较时,首先需在要比较的数据库上安装Agent软件。
1.安装GoldenGateVeridataJava代理
在UNIX系统上安装JavaAgent相对较简单。
(1)创建安装目录。
(2)下载安装介质。
(3)unzip解压包。
(4)tar解压tar包。
(5)配置属性文件,一般选默认就可以,其中需要配置的youserver.port,database.url,server.driversLocation,server.jdbcDriver,database.transaction.isolation。
Windows下Agent的安装在图形向导的帮助下,单击下一步很快就可以完成安装。
2.安装GoldenGateVeridataC代理
在UNIX系统安装C代理的步骤大致如下。
(1)创建安装目录。
(2)下载安装介质。
(3)将介质上传到服务器。
(4)解压zip包。
(5)解压tar包。
(6)从Agent的子目录,运行GGSCI。
(7)在GGSCI命令行下,用createsubdirs创建工作目录。
(8)编辑管理进程参数editparamsmgr。
(9)编辑管理进程用的端口。
(10)编辑动态端口范围(可选)。
(11)保存参数文件。
(12)启动管理进程,用startmanager命令。
(13)用infomgr查看管理进程状态信息。
在Windows系统安装C-Agent与在UNIX系统安装C-Agent类似。
12.2.3安装GoldenGateVeridata服务端
GoldenGateVeridataServer是Veridata非常重要的一个组件,它主要负责:
调整Veridata执行的任务。
对行进行排序(可选)。
比较数据。
确认不一致的数据。
产生report文件。
1.使用Oracle数据库安装服务端及Web组件
安装GoldenGateVeridataServer之前,确认作为Repository的Oracle数据库已正确配置好。
下面以Windows下的Oracle数据库为例演示安装过程。
(1)启动作为Repository的Oracle数据库。
(2)上官网下载安装介质。
(3)运行.exe文件如图12-2所示。
(4)选择安装路径如图12-3所示。
(5)按照图形向导配置端口,如图12-4所示。
图12-2
图12-3
图12-4
(6)选择Repository数据库的类型(这里选择Oracle),如图12-5所示。
图12-5
(7)配置VeridataRepository,如图12-6和图12-7所示。
图12-6
图12-7
(8)配置VeridataRepository参数,如图12-8~图12-11所示。
在数据库创建一个Veridata账号,用于记录数据比较的信息,使用的数据库表空间这里默认选择users表空间,临时表空间为temp。
图12-8
图12-9
图12-10
图12-11
(9)最后单击Next按钮就可以到安装完成的界面。
2.使用MySQL数据库安装服务端及Web组件(可选)
当选择MySQL数据库作为VeridataRepository时,就需要用到此向导。
安装过程与Oracle数据库作为VeridataRepository的过程较类似,首先确定MySQL数据库已经正常运行,接着在图形向导的帮助下,依次单击Next按钮即可完成安装。
3.使用SQLServer数据库安装服务端及Web组件(可选)
当选择SQLServer数据库作为VeridataRepository时,就需要用到此向导。
安装过程与Oracle数据库作为VeridataRepository的过程较类似,首先确定SQLServer数据库已经正常运行,接着在图形向导的帮助下,依次单击Next按钮即可完成安装。
12.3配置GoldenGateVeridata的安全属性
由于Veridata是直接比较应用里的数据,对于一些敏感数据,保障其安全性则非常有必要的。
当进行数据比较时,一定要注意Veridata的安装目录里的一些数据文件,比较结果文件以及VeridataWeb的界面信息,以防泄漏一些敏感信息。
一般只需要控制好比较的结果文件的权限,不让没有权限的账号查看该文件,以及保管好VeridataWeb登入的账号密码就能很好地控制GoldenGateVeridata的安全属性。
12.4运行GoldenGateVeridata程序进行数据比较
启停Veridata各组件的顺序可以是任意的。
关于运行GoldenGateVeridata,然后进行数据的比较,得到最终需要的结果,才是最关键的。
12.4.1启动C代理及Manager
C-Agent是跟VeridataServer自动启动的,但是在这之前,要确认与Agent关联的数据库已启动,管理进程已运行。
其中运行管理进程的命令为:
进入GGSCI界面行:
示例12-1:
GGSCI>startmanager
或者:
示例12-2:
GGSCI>stopmanager
12.4.2启动和停止基于Java组件
GoldenGateVeridataServer与GoldenGateVeridataWeb都是基于Java语言开发的组件,而Agent也有基于Java语言开发的版本,其中Java版本的Agent可以运行在除了惠普的nonstop的任何Veridata所支持的平台上。
启动和控制Java版本的Agent也较简单。
UNIX平台,到相应的安装目录,找到agent.sh,然后可以用:
示例12-3:
shell>agent.sh{start|run|stop}
就可以运行或者停止Agent。
Windows平台,则可以在程序里找到startagent,鼠标单击即可,或者在cmd命令行,用:
示例12-4:
agent.bat{start|run|stop}
即可。
12.4.3连接到GoldenGateVeridataWeb界面
启动完VeridataAgent,然后启动完VeridataServer,就可以启动GoldenGateVeridataWeb,进入GoldenGateVeridataWeb界面了。
在Windows系统,在开始菜单里直接就有启动菜单,直接单击即可,如图12-12所示。
或者直接在浏览器中输入http:
//:
/veridata
图12-12
例如:
示例12-5:
http:
//localhost:
8830/veridata/welcome.jsf
都可以进入Web界面,如图12-13所示。
图12-13
进入VeridataWeb界面之后,还需要配置一些比较对象(GoldenGateComparisonObjects),Veridata才能正确地工作运行。
(1)需要配置源数据的连接,需把要比较的两个数据库的信息配置完整。
如图12-14所示,进入Web界面后,单击左下角的ConnectionConfiguration如图12-14~图12-17所示。
图12-14
(2)配置要比较的组信息(一般即生产端与容灾端),然后让它们比较数据的一致性如图12-18、图12-19所示。
图12-15
图12-16
图12-17
图12-18图12-19
(3)配置好组之后,紧接着需要配置ComparePairs,用来匹配源端与目标端比较对象的信息,如图12-20所示。
图12-20
(4)配置profiles。
profile参数包括运行时间的参数以及一些比较的信息。
Veridata有一个默认的profile,一般用它就好。
(5)配置jobs。
当以上信息都配置完整后,就可以配置好job了(运行完job,从report文件即可以得到需要的比较数据的结果)。
(6)最后得到相应的report文件。
可以利用该文件得出的结果来分析GoldenGate复制软件同步数据的情况,如图12-21所示。
图12-21