HPServiceGuard配置手册范本.docx

1、HPServiceGuard配置手册范本 HP ServiceGuard配置手册作者：邓雪平日期：2020-04-30MSN：dengxuepinggmail.日期：QQ：67493282日期：2020年3月修订号日 期描 述修订者批准人/日期0.12009-03-26新建邓雪平1. 相关配置信息1.1. 主机配置部署ServiceGuard的服务器为两台数据库主机，两台主机运行一个数据库实例，以主备模式运行，主机的配置情况如下：主机配置主机型号rx6600rx6600主机名gd-mudb1gd-mudb2硬件配置4*1.6G-18MB/ 8G/2*146G/4*1000Base-T/2*HB

2、A/1*DVD/1*DAT72/HP-UX 11i v3 BOE/MirrorDisk/C/C+/MCServiceguard4*1.6G-18MB/ 8G/2*146G/4*1000Base-T/2*HBA/1*DVD/1*DAT72/HP-UX 11i v3 BOE/MirrorDisk/C/C+/MCServiceguard操作系统HP-UX V11.31HP-UX V11.31MC/SG版本A.11.18.00A.11.18.00数据库版本Oracle 10.2.0.1Oracle 10.2.0.1网IP192.168.3.21192.168.3.22心跳IP192.168.0.119

3、2.168.0.21.2. 集群配置集群配置集群名称gd-mudb节点名称gd-mudb1gd-mudb2程序包orapkg浮动IPorapkg包浮动IP：192.168.3.20MC/SG版本A.11.18.00程序包配置程序包名称orapkg包所在目录/etc/cmcluster/orapkg包配置文件/etc/cmcluster/orapkg/orapkg.conf包控制文件/etc/cmcluster/orapkg/tl数据库控制脚本/etc/cmcluster/orapkg/dbcontrol.sh1.3. 磁盘阵列配置磁盘阵列配置VG名称RAIDPV名称LV名称容量文件系统/dev

4、/vglockraid5/dev/disk/disk31/dev/vgoradbraid5/dev/disk/disk24/dev/disk/disk25/dev/vgoradb/oradata99G/oradata/dev/vgoradb/archlog99G/archlog/dev/vgorabakraid5/dev/disk/disk26/dev/disk/disk27/dev/vgorabak/orabak198G/orabak2. 卷组配置磁盘阵列为数据库划分了5个LUN，分别为disk24, disk25,disk26, disk27,disk31，需要注意的是，HP-UX v11

5、.31采用永久设备名，如/dev/disk/disk3，对于一个lun只有一个设备名，并且不再和物理路径绑定，而是和LUN的 WorldWide Identifier (WWID)绑定，只要WWID不变，设备名就不变，把物理设备拔掉再插回也不变，新加入的设备只会分配新的设备名。不再需要多路径软件了，能自动实现load balance功能，如果链路失败系统会取消该链路，当发现新链路时自动发现并加入load balance，不再使用传统的磁盘设备文件名称，如/dev/dsk/c4t0d3，我们应该使用新的磁盘设备文件进行相应的操作。对于永久设备名更详细的描述，可以参考：5个LUN中，disk24,

6、 disk26用于vgoradb卷组，这个卷组分成两个逻辑卷，一个用户于存放oracle数据文件，另一个卷用于联机归档日志，而disk25,disk27用于orabak，用于数据库备份，disk31用于锁盘。对于锁盘，有以下几点需要注意：1） 锁盘用于节点争夺资源时进行仲裁2） 锁盘必须在创建在磁盘阵列，不能创建在本地硬盘3） 锁盘的容量大小无限制，在EVA磁盘阵列上最小的容量单位为1G，因此，只要给锁盘划分一个1G的LUN就可以了，锁盘上面不会保存任何的信息，不需要创建LV，只要创建一个普通的VG就可以了4） 只有两个节点集群，锁盘是必须的，有两个以上节点的集群，可以不要锁盘2.1. 创建P

7、V(Physical Volume)pvcreate /dev/disk/disk24pvcreate /dev/disk/disk25pvcreate /dev/disk/disk26pvcreate /dev/disk/disk27pvcreate /dev/disk/disk31已经创建的pv，可以使用pvremove命令删除，使用传统的设备文件创建pv的命令如下：gd-mudb1/dev/rdsk#pvcreate /dev/rdsk/c2t0d0Physical volume /dev/rdsk/c2t0d0 has been successfully created.gd-mudb

8、1/dev/rdsk#pvremove /dev/rdsk/c2t0d0The physical volume associated with /dev/rdsk/c2t0d0 has been removed.这里需要注意的是，要使用rdsk目录的设备文件创建pv，而不是dsk目录2.2. 创建VG（Volume Group）2.2.1. 创建用于VG的目录mkdir /dev/vgoradbmkdir /dev/vgorabakmkdir/dev/vglock2.2.2. 创建字符设备文件mknod /dev/vgoradb/group c 64 0x010000mknod /dev/vg

9、orabak/group c 64 0x020000mknod /dev/vglock/group c 64 0x030000mknod的语法如下：mkdir options name bc major minormknod options name p ?上面的 /dev/vgoradb/group就是name，b、c、p是设备类型p FIFO类型b 块文件c 字符文件major：这里通常都是64minor：0x010000是组文件的mirror number，大小为从0-ff（0-255）跟在设备文件名后的c指定group是字符设备文件64是group设备文件的主编号，主编号始终是640x

10、nn0000是group文件的十六进制形式的次编号，每个具体的nn必须在所有卷组中是唯一的，一般来nn和卷组号对应比较容易识别，方便维护。通过ls l可以查到major和minor的值，如下所示：crw-r- 1 root sys 64 0x000000 Dec 31 04:23 /dev/vg00/groupcrw-rw-rw- 1 root sys 64 0x020000 Mar 2 16:47 /dev/vgorabak/groupcrw-rw-rw- 1 root sys 64 0x010000 Mar 2 16:47 /dev/vgoradb/group2.2.3. 创建VGvgcr

11、eate /dev/vgoradb /dev/disk/disk24 /dev/disk/disk26vgcreate /dev/vgorabak /dev/disk/disk25 /dev/disk/disk27vgcreate /dev/vglock /dev/disk/disk312.3. 创建LV（Logic Volume）和文件系统lvcreate L 20000 n oradata /dev/vgoradblvcreate L 1000 n archlog /dev/vgoradblvcreate L 40000 n orabak /dev/vgorabak对于锁盘，可以不用创建L

12、V。然后创建文件系统：mkfs F vxfs /dev/vgoradb/oradatamkfs F vxfs /dev/vgoradb/archlogmkfs F vxfs /dev/vgorabak/orabak然后创建挂载点，就可以把文件系统挂载到主机上mkdir /oradatamkdir /archlogmkdir /orabakmount /dev/vgoradb/oradata /oradatemount /dev/vgoradb/archlog /archlogmount /dev/vgorabak /orabak /orabak2.4. VG的激活与同步需要注意的一点是，VG需

13、要激活之后才能挂载，激活的方式有三种：vgchange a e /dev/vgoradbvgchange a y /dev/vgoradbvgchange c y /dev/vgoradb这三种分别使用在不同的情况下，参数-a y的方式，是以共享的方式挂载卷组，这种方式用于卷组未加入集群管理时使用；参数-c y这种方式需要在集群启动的时候才能使用，用于把卷组加入到集群中管理，而参数-a e是卷组在执行-c y命令加入到集群管理之后，再以独占的方式激活卷组，在集群方式下，卷组只能以独占的方式激活。禁用卷组有如下两种方式：vgchange a n /dev/vgoradbvgchange c n

14、/dev/vgoradb其中-c n的方式是把卷组从集群管理中释放出来在一台主机上配置好卷组之后，在另外一台主机不需要再进行配置，创建卷组设备文件，然后把已经配置好的卷组信息导出，再导入到另外一台即可，卷组只有在禁用状态下才能被导出，不然会报错，如以下命令：gd-mudb1/tmp#vgexport -s -m /tmp/vgorabak.map /dev/vgorabakvgexport: Volume group /dev/vgorabak is still active.vgexport: Couldnt export volume group /dev/vgorabak.这个时候这个V

15、G是active的状态，需要把它deactive：vgchange -a n /dev/vgorabakdeactive之后，执行vgexport的需要带-p的参数，不然后会在会这台机器把卷组remove掉 ，如下所示：vgexport -s -m /tmp/vgorabak.map /dev/vgorabak使用strings命令查看卷组配置信息：strings /etcm/lvmtabgd-mudb1/#strings /etc/lvmtab/dev/vg00/dev/disk/disk3_p2/dev/vgoradb/dev/disk/disk24/dev/disk/disk26可以看到

16、/dev/vgorabak这个卷组已经被remove掉了，这里的strings命令是查看二进制文件中的文本信息。vgexport命令中的-p参数是 preview的意义，即只是预览，并不真正把卷组导出、卸载。-s是扫描卷组配置，-m参数指定导出文件，同步时应执行下面的命令：vgexport p -s -m /tmp/vglock.map /dev/vglockvgexport p s m /tmp/vgoradb.map /dev/vgoradbvgexport p s m /tmp/vgorabak.map /dev/vgorabak然后通过rcp命令把这些配置文件传到另外一台机器，再导入卷

17、组配置：rcp /tmp/vglock.map gd-mudb2:/tmp/vglock.maprcp /tmp/vgoradb.map gd-mudb2:/tmp/vgoradb.maprcp /tmp/vgorabak.map gd-mudb2:/tmp/vgorabak.map在另外一台主机gd-mudb2上执行：vgimport N s m /tmp/vglock.map /dev/vglockvgimport N s m /tmp/vgoradb.map /dev/vgoradbvgimport N s m /tmp/vgorabak.map /dev/vgorabak需要注意这里的

18、-N参数，这个参数是为支持新的设备文件名而增加的，导入之后，查看lvmtab文件则可以看到卷组的配置信息：gd-mudb1/#strings /etc/lvmtab/dev/vg00/dev/disk/disk3_p2/dev/vgoradb/dev/disk/disk24/dev/disk/disk26/dev/vgorabak/dev/disk/disk25/dev/disk/disk27/dev/vglock/dev/disk/disk24在以共享模式（vgchage a y dev/vgxxx）激活的卷组，可以在两台主机上同时激活，但不能同时挂载，在第二台机器上挂载的时候会报错：gd-

19、mudb2/dev#mount /dev/vgorabak/orabak /orabakvxfs mount: V-3-21268: /dev/vgorabak/orabak is corrupted. needs checking到此，磁盘卷组就都配置完成了。3. 集群配置3.1. 检查软件是否已经安装通常如果购买了ServiceGuard软件，则厂家在安装操作过程会把ServiceGuard软件安装上去，但不会做配置。通过以下命令检查是否安装了ServiceGuard软件：swlist |grep ServiceGuard3.2. 配置hosts及信任关系确保在在两台主机的hosts文件中

20、有如下配置：#gd-mudb1/etc/hosts文件:127.0.0.1 localhost loopback192.168.3.21 gd-mudb1 #data net192.168.3.22 gd-mudb2192.168.0.1 gd-mudb1-HB #heart net192.168.0.2 gd-mudb2-HB #heart net#gd-mudb2/etc/hosts文件:127.0.0.1 localhost loopback192.168.3.21 gd-mudb1 #data net192.168.3.22 gd-mudb2192.168.0.1 gd-mudb1-H

21、B #heart net192.168.0.2 gd-mudb2-HB #heart net确保两台机有如下信任关系配置：gd-mudb1/#more /.rhostgd-mudb1 rootgd-mudb2 rootgd-mudb2/#more /.rhostgd-mudb1 rootgd-mudb2 root两台机建立信任关系之后，就可以使用rlogin host_name直接登录到另外一台主机，而不需要密码，同时也可以使用rcp在两台机之后传文件，使用命令的格式如下：rcp host_name:/path/to/file /path/to/local/filercp /path/to/l

22、ocal/file host_name:/path/to/file确保两台机PING网IP、心跳IP都可以通讯，心跳IP的两块网卡通过直连线（交叉线）进行连接。3.3. 生成集群配置文件执行cmquerycl命令生成集群配置模板文件：cmquerycl v C /etc/cmcluster/cluser.ascii n gd-mudb1 n gd-mudb2此步骤失败！这里的-v参数显示详细信息，-C指定配置文件的路径，-n指定集群中的节点。在执行cmquerycl执行成功后，会在/etc/cmcluster目录下生成cluster.ascii文件，此文件只是一个模板文件，文件容需要按实际配置

23、进行修改。主要修改的配置参数如下： cluster.ascii文件CLUSTER_NAME gd-mudbFIRST_CLUSTER_LOCK_VG /dev/vglockVOLUME_GROUP /dev/vglockVOLUME_GROUP /dev/vgoradbVOLUME_GROUP /dev/vgorabakCLUSTER_NAME指定集群的名称，FIRST_CLUSTER_LOCK_VG指定锁盘的卷组，VOLUME_GROUP指定加入集群管理的卷组，可以使用这些参数名在配置文件搜索其所在的位置，然后进行修改。3.4. 生成程序包配置文件3.4.1. 创建程序包配置模板文件1. 创

24、建程序包目录cd /etc/cmclustermkdir orapkg2. 生成程序包配置文件及控制文件cmmakepkg p orapkg/orapkg.confcmmakepkg s orapkg/tl使用上述命令生成的配置文件及控制文件只是一个模板，在使用之前需要手工修改3.4.2. 修改程序包配置模板文件1. orapkg.conf文件此文件使用命令生成，生成的模板文件不能直接使用，需要根据实际的配置进行修改，修改的主要容有：PACKAGE_NAME orapkg NODE_NAME gd-mudb1 NODE_NAME gd-mudb2 RUN_SCRIPT /etc/cmclust

25、er/orapkg/tlHALT_SCRIPT /etc/cmcluster/orapkg/tlSERVICE_NAME DB_MONITOR SERVICE_FAIL_FAST_ENABLED no SERVICE_HALT_TIMEOUT 300 PACKAGE_NAME指定程序包的名称，NODE_NAME指定程序包所在的节点，RUN_SCRIPT、HALT_SCRIPT指定启、停程序包脚本的位置，SERVICE相关的参数配置了一个服务，这个服务用于监控数据库。2. tl文件此文件使用命令生成，生成的模板文件不能直接使用，需要根据实际的配置进行修改，修改的主要容有：VG0=vgoradbV

26、G1=vgorabakLV0=/dev/vgoradb/oradata; FS0=/oradata; FS_MOUNT_OPT0=-o rw; FS_UMOUNT_OPT0=; FS_FSCK_OPT0=; FS_TYPE0=vxfsLV1=/dev/vgoradb/archlog; FS1=/archlog; FS_MOUNT_OPT1=-o rw; FS_UMOUNT_OPT1=; FS_FSCK_OPT1=; FS_TYPE1=vxfsLV2=/dev/vgorabak/orabak; FS2=/orabak; FS_MOUNT_OPT2=-o rw; FS_UMOUNT_OPT2=;

27、FS_FSCK_OPT2=; FS_TYPE2=vxfsIP0=192.168.3.20SUBNET0=192.168.3.0SERVICE_NAME0=DB_MONITORSERVICE_CMD0=/etc/cmcluster/orapkg/dbcontrol.sh monitorSERVICE_RESTART0=-r 3function customer_defined_run_cmds# ADD customer defined run commands.: # do nothing instruction, because a function must contain some co

28、mmand. /etc/cmcluster/orapkg/dbcontrol.sh start test_return 51function customer_defined_halt_cmds# ADD customer defined halt commands.: # do nothing instruction, because a function must contain some command. /etc/cmcluster/orapkg/dbcontrol.sh stop test_return 52VG相关的参数把所以的VG定义成了一个VG数组，此程序包所有的VG资源都在这

29、里定义，需要注意的是，集群的配置文件里有VG的配置，这里也有VG的配置，集群里可以不只一个程序包，各个程序包用到的VG资源，都在各自个程序包的这个控制文件里配置。LV0=/dev/vgoradb/oradata; FS0=/oradata; FS_MOUNT_OPT0=-o rw; FS_UMOUNT_OPT0=; FS_FSCK_OPT0=; FS_TYPE0=vxfs上面的配置指明LV的挂载的相关配置服务的相关配置定义了服务的详细调用方式，SERVICE_RESTART0=-r 3指定了服务启动失败时，尝试3次后面的两个函数customer_defined_run_cmds、customer_defined_halt_cmds板模是自动生成的，在执行cmrunpkg、cmhaltpkg时会试用这两个函数，这里只是定义了一个框架，/etc/cmcluster/orapkg/dbcontrol.sh start、/etc/cmcluster/orapkg/dbcontrol.sh stop这些实际上要做的动作，由我们自己添加。从上述的配置中可以看到，ServiceGuard的配置文件给我们提供一个框，像服务的的实际脚本、程序包的启停脚本，都是需要