集群系统故障测试报告.docx

1、集群系统故障测试报告*物资集群系统故障测试报告*二零零九年十月*物资集群系统故障测试报告一、 测试准备二、 测试方案审核记录：三、 项目测试项目大纲根据验收标准，用户方*和乙方*将共同对以下项目进行测试：项目编号测试项目测试编码测试分项目00主机故障测试0001ncst01故障0002ncst02故障01单节点单存储故障测试0101ncst01、存储A故障0102ncst01、存储B故障0103ncst02、存储B故障0104ncst02、存储A故障双节点单存储设备运行是单节点单存储故障测试流程中的一个必经过程，所以没有被列入测试项目中。根据测试目标，绘制了如下测试流程图：四、 测试过程1.

2、测试项目0001（模拟主机ncst01故障） 预置条件：RAC正常运行、强制关闭ncst01主机节点 操作方法：执行命令ncst01#halt q 状态查看：数据库运行状态：# crs_stat tName Type Target State Host -ora.SM1.asm application ONLINE OFFLINE ora.01.lsnr application ONLINE OFFLINE ora.ncst01.gsd application ONLINE OFFLINE ora.ncst01.ons application ONLINE OFFLINE ora.ncst01

3、.vip application ONLINE ONLINE ncst02 ora.SM2.asm application ONLINE ONLINE ncst02 ora.02.lsnr application ONLINE ONLINE ncst02 ora.ncst02.gsd application ONLINE ONLINE ncst02 ora.ncst02.ons application ONLINE ONLINE ncst02 ora.ncst02.vip application ONLINE ONLINE ncst02 ora.wuzi.db application ONLI

4、NE ONLINE ncst02 ora.i1.inst application ONLINE OFFLINE ora.i2.inst application ONLINE ONLINE ncst02 测试结果：在强制关闭ncst01主机节点的情况下，RAC数据库集群不受影响，ncst02主机节点数据库运行正常。 恢复步骤：开启ncst01主机节点，启动HA服务，CRS服务将自动启动，RAC数据库集群恢复正常。2. 测试项目0002（模拟主机ncst02故障） 预置条件：RAC正常运行、强制关闭ncst02主机节点 操作方法：执行命令ncst02#halt q 状态查看：数据库运行状态：# c

5、rs_stat tName Type Target State Host -ora.SM1.asm application ONLINE ONLINE ncst01 ora.01.lsnr application ONLINE ONLINE ncst01 ora.ncst01.gsd application ONLINE ONLINE ncst01 ora.ncst01.ons application ONLINE ONLINE ncst01 ora.ncst01.vip application ONLINE ONLINE ncst01 ora.SM2.asm application ONLI

6、NE OFFLINE ora.02.lsnr application ONLINE OFFLINE ora.ncst02.gsd application ONLINE OFFLINE ora.ncst02.ons application ONLINE OFFLINE ora.ncst02.vip application ONLINE ONLINE ncst01 ora.wuzi.db application ONLINE ONLINE ncst01 ora.i1.inst application ONLINE ONLINE ncst01 ora.i2.inst application ONLI

7、NE OFFLINE 测试结果：在强制关闭ncst02主机节点的情况下，RAC数据库集群不受影响，ncst01主机节点数据库运行正常。 恢复步骤：开启ncst02主机节点，启动HA服务，CRS服务将自动启动，RAC数据库集群恢复正常。3. 测试项目0101（模拟主机ncst01、存储A故障同时故障） 预置条件：RAC正常运行、强制关闭ncst01主机节点和存储A 操作方法：- 执行命令ncst01#halt q关闭主机- 断开存储A至SAN光纤交换机的连接线 状态查看：数据库运行状态：$ crs_stat -tName Type Target State Host -ora.SM1.asm a

8、pplication ONLINE OFFLINE ora.01.lsnr application ONLINE OFFLINE ora.ncst01.gsd application ONLINE OFFLINE ora.ncst01.ons application ONLINE OFFLINE ora.ncst01.vip application ONLINE ONLINE ncst02 ora.SM2.asm application ONLINE ONLINE ncst02 ora.02.lsnr application ONLINE ONLINE ncst02 ora.ncst02.gs

9、d application ONLINE ONLINE ncst02 ora.ncst02.ons application ONLINE ONLINE ncst02 ora.ncst02.vip application ONLINE ONLINE ncst02 ora.wuzi.db application ONLINE ONLINE ncst02 ora.i1.inst application ONLINE OFFLINE ora.i2.inst application ONLINE ONLINE ncst02 CRS的ocr磁盘状态：# ocrcheckStatus of Oracle C

10、luster Registry is as follows : Version : 2 Total space (kbytes) : 1048300 Used space (kbytes) : 3844 Available space (kbytes) : 1044456 ID : 630524357 Device/File Name : /dev/rocrlv01 Device/File integrity check succeeded Device/File Name : /dev/rocrlv02 Device/File integrity check succeeded Cluste

11、r registry integrity check succeededCRS的vot磁盘状态：# crsctl query css votedisk 0. 0 /dev/rvotlv01 1. 0 /dev/rvotlv03 2. 0 /dev/rvotlv02located 3 votedisk(s). 测试结果：通过测试发现当主机ncst01和存储A同时关机时，数据库状态查看都正常，但此时数据库无法正常使用（HUNG）。需要重新启动主机ncst02以恢复数据库正常运行。 恢复步骤：1) 正常停止RAC集群服务# crsctl stop crs Stopping resources. Th

12、is could take several minutes.Successfully stopped CRS resources.Stopping CSSD.Shutting down CSS daemon.Shutdown request successfully issued.2) 正常停止HA集群服务#smitty clstop3) 重启主机ncst02系统#shutdown Fr4) 启动系统后查看磁盘状态# lspvhdisk0 00cef9a4c0cf0ae0 rootvg activehdisk1 00cef9a433f4f46d rootvg activehdisk18 non

13、e None hdisk19 none None hdisk20 none None hdisk21 none None hdisk22 none None hdisk23 none None hdisk24 none None hdisk25 none None hdisk26 none None hdisk27 none None hdisk28 none None hdisk29 none None hdisk30 none None hdisk31 none None hdisk32 none None hdisk34 00cef92447945c42 crsvg 5) 启动HA集群服

14、务#smitty clstart6) 再次查看磁盘状态# lspvhdisk0 00cef9a4c0cf0ae0 rootvg activehdisk1 00cef9a433f4f46d rootvg activehdisk18 none None hdisk19 none None hdisk20 none None hdisk21 none None hdisk22 none None hdisk23 none None hdisk24 none None hdisk25 none None hdisk26 none None hdisk27 none None hdisk28 none

15、None hdisk29 none None hdisk30 none None hdisk31 none None hdisk32 none None hdisk34 00cef92447945c42 crsvg concurrent7) 查看crs进程# ps -ef |grep crs root 127178 1 0 13:11:21 - 0:00 /bin/sh /etc/init.crsd run oracle 135196 74074 0 13:17:42 - 0:00 /oracle/crs/bin/evmlogger.bin -o /oracle/crs/evm/log/evm

16、logger.info -l /oracle/crs/evm/log/evmlogger.log oracle 213190 115276 0 13:17:29 - 0:00 /oracle/crs/bin/ocssd.bin oracle 74074 78292 0 13:17:25 - 0:00 /oracle/crs/bin/evmd.bin oracle 119146 152560 0 13:18:35 - 0:00 /oracle/crs/opmn/bin/ons -d root 192918 78542 0 13:18:57 pts/0 0:00 grep crs root 826

17、40 127178 1 13:17:25 - 0:01 /oracle/crs/bin/crsd.bin reboot oracle 115276 209420 0 13:17:28 - 0:00 /bin/sh -c ulimit -c unlimited; cd /oracle/crs/log/ncst02/cssd; /oracle/crs/bin/ocssd | exit $? oracle 99118 156518 0 13:17:27 - 0:00 /oracle/crs/bin/oclsomon.bin oracle 152560 1 0 13:18:35 - 0:00 /ora

18、cle/crs/opmn/bin/ons -d oracle 156518 82772 0 13:17:27 - 0:00 /bin/sh -c cd /oracle/crs/log/ncst02/cssd/oclsomon; ulimit -c unlimited; /oracle/crs/bin/oclsomon | exit $? 8) 切换到ORACLE用户# su oracle9) 查看数据库状态$ crs_stat -tName Type Target State Host -ora.SM1.asm application ONLINE OFFLINE ora.01.lsnr ap

19、plication ONLINE OFFLINE ora.ncst01.gsd application ONLINE OFFLINE ora.ncst01.ons application ONLINE OFFLINE ora.ncst01.vip application ONLINE ONLINE ncst02 ora.SM2.asm application ONLINE ONLINE ncst02 ora.02.lsnr application ONLINE ONLINE ncst02 ora.ncst02.gsd application ONLINE ONLINE ncst02 ora.n

20、cst02.ons application ONLINE ONLINE ncst02 ora.ncst02.vip application ONLINE ONLINE ncst02 ora.wuzi.db application ONLINE ONLINE ncst02 ora.i1.inst application ONLINE OFFLINE ora.i2.inst application ONLINE ONLINE ncst02 恢复小结：在主机ncst01和存储A关机的状态下，进行RAC的正常恢复主要经历以下几步：1) 正常停止主机ncst02的CRS服务和HA服务；2) 重启主机nc

21、st02；3) 启动ncst02节点的HA服务，此时CRS进程将自动启动，服务器ncst02节点的数据库也将自动启动。4. 测试项目0102（模拟主机ncst01、存储B同时故障） 预置条件：RAC正常运行，在测试项目0101的基础上将存储A恢复，待存储A恢复完成后关闭存储B- 环境部署：恢复存储A至SAN交换机的连接，依次关闭数据库、CRS、HA服务，重启主机ncst02 并且保持主机ncst01关机。- 命令如下：1) 关闭数据库：$srvctl stop database d wuzi2) 切换用户：$su3) 关闭CRS：#crsctl stop crs4) 关闭HA：#smitty

22、clstop5) 重启服务器：#shutdown -Fr6) 系统重启完成后启动HA服务：#smitty clstart7) 切换用户：#su - oracle8) 查看数据库状态：$crs_stat t9) 输出环境变量：$export ORACLE_SID=+ASM210) 连接ASM实例：$sqlplus “/as sysdba”11) 恢复失败的磁盘组SQL ALTER DISKGROUP WUZIGROUP ADD FAILGROUP fg1DISK/dev/rhdisk2 FORCE,/dev/rhdisk3 FORCE,/dev/rhdisk4FORCE, /dev/rhdisk

23、5 FORCE,/dev/rhdisk6 FORCE;SQLexit12) 切换用户：#su13) 查看CRS的ocr、vot磁盘状态# ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 2 Total space (kbytes) : 1048300 Used space (kbytes) : 3844 Available space (kbytes) : 1044456 ID : 630524357 Device/File Name : /dev/rocrlv01 Device/File integrit

24、y check succeeded Device/File Name : /dev/rocrlv02Device/File integrity check succeededCluster registry integrity check succeeded# crsctl query css votedisk 0. 0 /dev/rvotlv01 1. 0 /dev/rvotlv03 2. 0 /dev/rvotlv02located 3 votedisk(s).注：一定要确保OCR磁盘状态为“Cluster registry integrity check succeeded”。 操作方法

25、：断开存储B至SAN交换机的连接线。 状态查看：数据库运行状态：$ crs_stat tName Type Target State Host -ora.SM1.asm application ONLINE OFFLINE ora.01.lsnr application ONLINE OFFLINE ora.ncst01.gsd application ONLINE OFFLINE ora.ncst01.ons application ONLINE OFFLINE ora.ncst01.vip application ONLINE ONLINE ncst02 ora.SM2.asm appli

26、cation ONLINE ONLINE ncst02 ora.02.lsnr application ONLINE ONLINE ncst02 ora.ncst02.gsd application ONLINE ONLINE ncst02 ora.ncst02.ons application ONLINE ONLINE ncst02 ora.ncst02.vip application ONLINE ONLINE ncst02 ora.wuzi.db application ONLINE ONLINE ncst02 ora.i1.inst application ONLINE OFFLINE

27、 ora.i2.inst application ONLINE ONLINE ncst02 CRS的ocr磁盘状态：# ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 2 Total space (kbytes) : 1048300 Used space (kbytes) : 3844 Available space (kbytes) : 1044456 ID : 630524357 Device/File Name : /dev/rocrlv01 Device/File integrity check s

28、ucceeded Device/File Name : /dev/rocrlv02Device/File integrity check succeededCluster registry integrity check succeededCRS的vot磁盘状态：# crsctl query css votedisk# crsctl query css votedisk 0. 0 /dev/rvotlv01 1. 0 /dev/rvotlv03 2. 0 /dev/rvotlv02located 3 votedisk(s). 测试结果：通过测试发现当主机ncst01和存储B同时关机时，数据库状态查看都正常，但此时数据库无法正常使用（HUNG）。需要重新启动主机ncst02以恢复数据库正常运行。 恢复步骤：1) 正常停止RAC集群服务# crsctl stop crs Stopping resources.