DSGRealSync日常维护手册.docx

1、DSGRealSync日常维护手册DSG RealSync日常维护手册迪思杰（北京）数码技术有限公司1数据同步1.1首次全同步及环境概述此种情况操作发生在首次初始化同步或是发生了如程序出现问题、或归档数据时开启了大量不写日志的操作等特殊情况下，需要重新全同步所进行的操作。1.1.1首先在目标端初始化复制进程$cd /dsg/dt/scripts 执行./stop_vagentd abort 停止当前复制进程./clean 初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。./start_vagentd 启动复制进

2、程. /check 检查复制进程启动状态oracledsg_test scripts$ ./checkoracle 12499 1 0 09:46 pts/2 00:00:00 /dsg/bin/vagentd 4000oracle 12500 12499 10 09:46 pts/2 00:05:20 /dsg/bin/vagentd 4000oracle 12519 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -r -online_tables 1000 -qno 0 1oracle 12521 12519 0 09:46 pts/2 00:00:00

3、 /dsg/bin/loader -r -online_tables 1000 -qno 0 1oracle 12518 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 0 1oracle 12522 12518 17 09:46 pts/2 00:09:09 /dsg/bin/loader -s -qno 0 1oracle 12509 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 1 1oracle 12511 12509 19 09:46 pts/2 00:09:52 /dsg/bin/

4、loader -s -qno 1 1oracle 12523 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 2 1oracle 12524 12523 22 09:46 pts/2 00:11:32 /dsg/bin/loader -s -qno 2 1oracle 12512 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 3 1oracle 12516 12512 27 09:46 pts/2 00:13:55 /dsg/bin/loader -s -qno 3 1oracle 12493

5、 1 0 09:46 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.r0 /dsg/log/archivelog/log.r0_archlog 43200上图为4个并发进程的启动情况，现场loader s进程启动个数可能根据现场启动的并发数不同而不同。1.1.2在源端初始化复制进程$cd /dsg/ds/scripts 执行./stop_vagentd abort 停止当前复制进程./clean_vagentd 初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作

6、。./start_vagentd 启动复制进程./check 检查复制进程启动状态oracledsg_test scripts$ ./checkoracle 19445 1 0 09:45 pts/5 00:00:00 /dsg/bin/dbpsd 4002oracle 19461 1 0 09:45 pts/5 00:00:00 /dsg/bin/vagentd 4000 oracle 19469 19461 44 09:45 pts/5 00:22:00 /dsg/bin/vagentd 4000oracle 19455 1 0 09:45 pts/5 00:00:00 /dsg/bin/

7、sender -tseq 1oracle 19456 19455 0 09:45 pts/5 00:00:00 /dsg/bin/sender -tseq 1oracle 19434 1 0 09:45 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.sender /dsg/log/archivelog/log.sender_archlog 43200oracle 19433 1 0 09:45 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.vagentd /dsg/log/archive

8、log/log.vagentd_archlog 43200如上图所有进程均正常启动表明复制进程正常启动3)源端bin下执行$cd /dsg/ds/bin$ ./vmanVMAN vm即可正常发起全同步操作1.1.3全同步过程中源端日志监控$cd /dsg/ds/log 1）通过tail f log.vagentd命令查看全同步抓取日志进程vagentd的日志信息在同步导出的过程中显示导出百分之多少和导出多少M，可以监控到源端同步导出的进度。/*开始抽取表，显示百分比（0.81%），已经抽取的大小（10MB），读取速度（R9:1.11），压缩速度（C0: 0.00），写速度（W0: 0.13），

9、平均速度（P: 1.11），总共耗时（E:322）*/rz 1.63% 20MB (R9: 3.33,C1:16.58,W1: 0.05,P: 1.66,T:0,E:651)wr 2.44% 30MB (R9: 3.33,C5:11.11,W1: 0.06,P: 2.00,T:0,E:1010)rw 3.25% 40MB (R9: 3.33,C2:11.11,W2: 0.04,P: 2.22,T:0,E:1411)wr 4.07% 50MB (R9: 3.33,C3: 7.14,W4: 0.03,P: 2.38,T:0,E:1699)r 4.88% 60MB (R9: 3.33,C1:12.5

10、0,W2: 0.08,P: 2.50,T:0,E:2022)zr 5.69% 70MB (R9: 3.33,C2: 0.00,W2: 0.00,P: 2.59,T:0,E:2297)grp# size seq# hws bsz nab flg dup fwd bwd blk(ofs) 1 262144 15540 2 512 262145 1 1 2 0 262145(0)线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志）Handling seq# 15545 - block 100245(ofs 0)-112849/*正在处理15545号日志，在100245块，偏移量0

11、*/rw 6.50% 80MB (R9: 3.33,C0:40.00,W1: 0.06,P: 2.67,T:0,E:2586) SCN 0x0000.00fd4561 in 2004-8-19:12:36:30 (U:1,C:1,D:400)Processed to: seq# 15545, blk:110484, ofs:448SCN 0x0000.00fd45b7 in 2004-8-19:12:36:40 (U:1,C:0,D:718)$r 7.32% 90MB (R9: 1.88,C0: 0.00,W0: 0.06,P: 2.55,T:0,E:2882)2）查看导出结束的标志在log.

12、vagentd日志中出现如下的打印信息：= Summary of DBPS Express Export = Tables 1950 (2938) Rows 141752480 Extents 11094 Zip Level 1 To Read 30185.69MB Read 30539.13MB XF1 31418.00MB XF1 Zipped 11625.83MB (63.00%) Elapsed 575.91(s) =Adding Transactions .Exporting Finished.显示导出完成3）通过tail f log.sender命令查看发送数据进程sender的信

13、息sender进程会把同步期间产生新交易的xf1进行发送，看这个文件是否有传送新的xf11.1.4全同步过程中目标端的日志监控1）$cd /dsg/dt/log 通过tail f log.s0命令查看目标端log目录下的log.s0、log.s1.log.s5文件，看是否同步的文件在正常装载以及每个队列装载到的具体xf1文件个数，以log.s开始的文件为首次同步产生的日志文件。2）$cd /dsg/dt/rmp通过cat cfg.loaderno命令查看目标端rmp目录下的sync0、sync1、syncX目录中源端同步导出传到这些目录下的xf1文件是否在减少，cfg.loaderno文件有两

14、列第一列的数字表示装载了多少个xf1文件，第二列的数字表示从源端接收到了多少个xf1文件，所以可以通过判断第一列的数字是否增长，来确定目标端同步装载的进度。3）$cd /dsg/dt/rmp通过cat cfg.sync查看目标端rmp目录下的cfg.sync文件，如果这个文件不断的增大说明源端导出传送过来的数大于目标端同步装载的xf1个数；如果这个文件在不断的减少说明源端传送过来的数小于目标端同步装载的xf1个数，或源端导出完毕不再传送目标端在不断的装载xf1文件；当cfg.sync文件里面的数表示源端导出传送到目标端，目标端还有多少个xf1未装的个数，所以当cfg.sync文件里面的数为零时

15、，表示目标端同步装载完成。4）$cd /dsg/dt/log 通过tail f log.r0查看目标端log目录下的log.r0文件，以log.r开始的文件为增量装载的日志文件Loader: 1.xf1 2007-06-12:17:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 2007-06-12:17:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2007-06-12:17:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2007-06-12:17:31

16、:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2007-06-12:17:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2007-06-12:17:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)的日志，说明目标端同步装载完成。5) $cd /dsg/dt/scripts 通过./mon查看目标端的装载情况。1.2单独同步1张或几张表由于只是想单独同步1张或几张表，并且不影响其他现在正在复制表的正常复制，而且要单独同步的表已经在下面mapping.ini文件中real_where

17、=中的o.name项中，所以只需要修改full_where中o.name中的内容，改为要单独同步1张或几张表的表名即可。操作步骤如下：$cd /dsg/ds/config当前mapping.ini文件内容为：TRADE TRADEreal_where=u.name=TRADEfull_where=u.name=TRADE如果需要单独同步TRADE用户下的TEST表，需要修改mapping.ini文件TRADE TRADEreal_where=u.name=TRADEfull_where=u.name=TRADE and o.name=TEST按需求修改完mapping.ini文件后进入源端bi

18、n目录$cd /dsg/ds/bin$ ./vmanVMAN vm注：只有执行此命令后，dsg才会再此查询mapping.ini里配置信息，只是修改完mapping.ini或起停进程并不重新读取mapping.ini里配置信息查看源端log.vagnetd文件如果有Finished出现表示源端新加的表同步完成，查看目标端log.r0进行实时装载后，表示新同步的表目标端同步完成，进入实时同步阶段2如何设置日志分析间隔$cd /dsg/ds/bin$ ./vmanVMAN connect :50000user root/dbpsset ds 1 -itvl 3 -state start该日志间隔可

19、以在15秒间任意设置，设置成几秒中Dsg每隔几秒钟就会去读取一次redo log 在证券行业推荐使用3秒注：-itvl 3 读取日志间隔3日常运行过程中的日志监控3.1源端日常分析的进度1）查看源端rmp目录下的cfg.finishseq文件，可以查到源端已经分析完的数据库日志文件。第一列表示主机节点，第二列表示已经分析完的数据库日志文件号。2）查看源端log目录下的log.vagentd文件，可以查看源端分析到什么时间的交易。如下的日志：grp# size seq# bsz nab flg dup TH Next-SCN 2007/06/12 17:26:20 1 204800 235 51

20、2 204799 0 1 1 0x54c92ea 235.187048.02007-06-12:17:26:20: processing rba 235.187048.0 (ckp: 235.204799.x) .2007-06-12:17:26:21: processed to rba 235.197287.460 (ckp: 235.204799.x)SCN 0x0000.054c92d4 in 2007-6-12:17:26:15 (U:1:2488842,C:0:0)红色时间表示源端数据库交易操作时间蓝色时间表示源端分析此交易的时间两者相减可以得出源端分析滞后的时间3）查看源端vcfs

21、a目录下的src_total.txt文件，可以知道源端分析出交易的具体信息。如下的日志：2007-06-12:17:26:37 LEN: 5242864 80444-I 0-D 0-U 0-DDL2007-06-12:17:26:38 LEN: 1290520 19556-I 0-D 0-U 0-DDL2007-06-12:17:28:19 LEN: 5242864 80444-I 0-D 0-U 0-DDL2007-06-12:17:28:20 LEN: 1290520 19556-I 0-D 0-U 0-DDL红色部分表示：源端传送此xf1文件的系统时间蓝色部分表示：源端传送此xf1文件的

22、大小紫色部分表示：源端传送此xf1文件的具体交易类型及相应交易类型的个数3.2目标端日常装载的进度1）查看目标端log目录下的log.r0文件。如如下log.r0文件：Loader: 1.xf1 2007-06-12:17:31:41: 19556-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 2007-06-12:17:31:41: 0-I 19556-D 0-U 0-DDL(2086 ms)Loader: 3.xf1 2007-06-12:17:31:41: 0-I 0-D 0-U 19556-DDL(2086 ms) 红色部分表示：目标端装载相应xf1文件的

23、编号 蓝色部分表示：目标端装载此xf1文件的系统时间 紫色部分表示：此xf1文件的具体操作的类型及相应的个数 绿色部分表示：装载此xf1花费的时间2）查看目标端rmp目录下的tgt_total.txt文件，可以知道目标端装载的具体信息。如如下的tgt_total.txt文件：/dsg/dt/rmp/real0/403833.xf1: CreateTime: 2007-07-24 13:21:31 (commit), SCN 0x0028.bb39c9fa, Time 2007-07-24 13:21:02 (commit), SCN 0x0028.bb39cae4, Time 2007-07-

24、24 13:21:03 (commit), SCN 0x0028.bb39cb39, Time 2007-07-24 13:21:03 (commit), SCN 0x0028.bb39cbb6, Time 2007-07-24 13:21:03 (commit), SCN 0x0028.bb39cd14, Time 2007-07-24 13:21:032007-07-24:13:21:33 LEN: 3561 22-I 0-D 10-U 0-DDL TXN-14/dsg/dt/rmp/real0/403834.xf1: CreateTime: 2007-07-24 13:21:33 (co

25、mmit), SCN 0x0028.bb39d7a2, Time 2007-07-24 13:21:03 (commit), SCN 0x0028.bb39de39, Time 2007-07-24 13:21:04 (commit), SCN 0x0028.bb39de6b, Time 2007-07-24 13:21:042007-07-24:13:21:33 LEN: 4837 15-I 9-D 2-U 0-DDL TXN-14红色部分表示：目标端日常接收到的xf1文件编号及在目标端保存创建此xf1文件目标端的系统时间蓝色部分表示：目标端日常接收到此xf1在源端oracle内部的scn号

26、和在源端交易的源端系统时间紫色部分表示：目标端日常接收到此xf1在目标端装载完的目标端系统时间及相应此xf1文件的大小和相应交易的类型和相关交易的个数紫色时间减去蓝色时间：表示源端在数据库里真正交易时间和目标端真正装载到数据库时间的相差时间（当然要保持源端主机和目标端主机系统时间一致）3.3源端日常传送的进度1）查看源端log目录下的log.sender文件，查看源端日常传送的进度。如如下log.sender文件：2007-07-24:11:30:28: /dsg/ds/rmp/2.376382.xf1 (PID-1429564 PPID-6742266) .2007-07-24:11:30:

27、28: /dsg/ds/rmp/2.376382.xf1 sent in 25ms2007-07-24:11:30:32: /dsg/ds/rmp/2.376383.xf1 (PID-1429564 PPID-6742266) .2007-07-24:11:30:32: /dsg/ds/rmp/2.376383.xf1 sent in 11ms红色部分表示：源端日常传送此xf1文件的系统时间蓝色部分表示：源端传送此xf1文件的具体编号紫色部分表示：源端传送此xf1文件的时间3.4目标端日常接收的进度1）查看目标端log目录下的log.vagentd文件，查看目标端日常接受的进度。如如下log.

28、vagentd文件：2007-07-24:11:37:21: real, q# 0, XF1 36 . elapsed 33ms2007-07-24:11:37:21: real, q# 0, XF1 98 . elapsed 58ms红色部分表示：目标端日常接收此xf1文件的系统时间蓝色部分表示：目标端日常接收此xf1文件的类型。real表示实时，full表示紫色部分表示：目标端日常接收此xf1文件的所在队列。多队列分0，1，2等绿色部分表示：目标端日常接收此xf1文件的大小棕色部分表示：目标端日常接收此xf1文件花费的时间3.5源端日常是否xf1积压1）查看源端rmp目录下是否有大量xf1

29、文件积压，正常的情况下rmp目录下不会有很多xf1文件存在。如果存在不过数量不多，并且xf1文件的最小编号始终在变化，说明可能是传送的慢；2）查看源端log目录下的log.sender文件，看是否有变化（而且不是重试的信息）3）查看源端rmp目录下的2.cfg.senderno文件，看是否第一列和第二列数值是否相差很大。第二列比第一列大很多说明源端日常xf1有积压，另外第一列数值不再变化，说明源端日常xf1文件有积压（当然这两种情况在同步某张或某些表的时候，会有这种情况发生，因为在这同步某张或某些表的没有完成时，新生成的xf1文件是不会传送到目标端的，源端会造成xf1文件的阶段时间积压） 造成

30、源端积压的可能原因：1、源端目标端之间的网络故障2、目标端进程停止3、源端发送停止或出错3.6目标端日常是否xf1积压1）查看目标端rmp目录下的real0目录下是否有大量xf1文件积压2）查看目标端log目录下的log.r0文件是否有日志累加写入（不是重复信息）3）查看目标端rmp/real0目录下的cfg.loaderno文件，第一列和第二列的数值是否相差很大，如果第二列比第一列数值大很多说明目标端日常xf1文件有累积，同时如果第一列数值长时间不变动，说明目标端日常xf1文件有累积。3.7源端传送的具体信息 1）查看源端vcfsa目录下的src_total.txt文件，可以知道源端分析出交

31、易的具体信息。如如下的日志：2007-06-12:17:26:37 LEN: 5242864 80444-I 0-D 0-U 0-DDL2007-06-12:17:26:38 LEN: 1290520 19556-I 0-D 0-U 0-DDL2007-06-12:17:28:19 LEN: 5242864 80444-I 0-D 0-U 0-DDL2007-06-12:17:28:20 LEN: 1290520 19556-I 0-D 0-U 0-DDL红色部分表示：源端传送此xf1文件的系统时间蓝色部分表示：源端传送此xf1文件的大小紫色部分表示：源端传送此xf1文件的具体交易类型及相应交易类型的个数3.8目标端装载的具体信息1）查看目标端rmp目录下的tgt_total.txt文件，可以知道目标端装载的具体信息。如如下的tgt_total.txt文件：/dsg/dt/rmp/real0/403833.xf1