双机操作步骤参考个人参考Standby.docx

1、双机操作步骤参考个人参考Standby安装Cluster的详细步骤StandBy模式1. 关于本文1.1. 编写本文的目的公司的技术人员，根据该模板均能成功安装配置统一风格、符合FR规范的MC高可用系统，通过本文档，系统管理员可对双机的基本概念有一定的了解；可完成双机的安装配置、日常管理、监控等任务。1.2. 规则定义及说明主机命名规则：本文的主机名分别是：node1和node2；并用蓝色表示该名称可随不同环境改变。其他说明：本文所有蓝色字符均为根据不同环境修改的；而褐色部分则为可选内容，即这些操作可根据用户实际需要选择；红色表示重要部分。2. 安装软件 安装MC/ServiceGuard软件

2、。 安装 MC/ServiceGuard for RAC 的Software 安装Database Toolkits软件（安装后位于/opt/cmcluster/toolkit/目录内）。 安装Secure Path3. 准备系统所有节点上的用户名都相同。所有节点上的 UID 都相同。所有节点上的 GID 都相同。所有节点上系统区中的应用程序都相同。群集中的系统时间一致。可以由多个节点使用的文件（如 /usr 文件）必须在所有节点上都相同。3.1. 建立主机信任关系 编辑安全控制文件/.rhosts：包含其他节点的根用户授权，如node1 rootnode2 root3.2. 启动时间同步进程

3、 建议在各个节点上面激活NTP（xntpd进程），编辑/etc/ntp.conf文件。（注：该项可以跳过）4. 网卡准备 硬件要求：每台服务器三块网卡（lan0、lan1、lan2）或两块网卡(lan0、lan1)加RS232串口（只有在双节点群集中使用），其中lan0作为主机的主网卡 ，作为数据通讯用，而lan1作为lan0的备份网卡，lan2（RS232）作为心跳信号通讯；光两块网卡也可以，数据和心跳走一条线 网卡配置：网卡的配置在/etc/rc.config.d/netconf文件中定义。注意，在此文件中应将主网卡进行配置，而备份网卡不能配置IP地址。5. 准备磁盘5.1. 创建卷组（V

4、G）和逻辑卷（LV）（在主节点上！次节点先不作）注：（可以使用SAM或命令方式） 选择VG所使用的磁盘（得到每个节点上可以看见的磁盘，识别出共享磁盘一般表现为磁盘阵列设备文件），在每个节点上面均执行下面的命令，列出每个节点可见的磁盘设备：# lssf /dev/dsk/*d0 在节点1上面创建物理卷（PV）# pvcreate /dev/rdsk/c1t2d0 # pvcreate /dev/rdsk/c0t2d0 在节点1上面创建卷组（VG）创建卷组目录# mkdir /dev/卷组名 在卷组目录内创建卷组控制文件# mknod /dev/卷组名/group c 64 0xhh0000 (其

5、中，主设备号总是64，次设备号以16进制数0xhh0000表示，hh必须在系统内唯一，使用系统中下一个可用的数值。使用下面的命令可以得到系统中已经存在的卷组：# ls -l /dev/*/group ）创建卷组并将物理卷加入其中# vgcreate /dev/卷组名 /dev/dsk/c1t2d0 # vgextend /dev/卷组名 /dev/dsk/c0t2d0 重复上述步骤创建其他卷组 在节点1上面创建逻辑卷（LV）# lvcreate -L 12 /dev/卷组名 在节点1上面创建文件系统（如果需要）在新建的逻辑卷上面创建文件系统# newfs -F vxfs /dev/卷组名/rl

6、vol1 创建mount目录点# mkdir /mnt1 Mount文件系统以检查正确性# mount /dev/卷组名/lvol1 /mnt1 5.2. 修改卷组属性 在node1上deactivate 卷组：# umount /mnt1 # vgchange -a n /dev/卷组名 5.3. 在另一台主机上设置VG（只能使用命令方式完成）1) 在节点1上面，生成卷组映像文件# vgexport -v -s -p -m /tmp/卷组名.map /dev/卷组名 2) 在节点1上面，将卷组映像文件复制到节点2# rcp /tmp/卷组名.map node2:/tmp/卷组名.map 3)

7、 在节点2上面，创建卷组目录# mkdir /dev/卷组名 4) 在节点2上面，创建卷组控制文件# mknod /dev/卷组名/group c 64 0xhh0000 5) 在节点2上面，使用从节点1复制的卷组映像文件中的信息建立卷组结构# vgimport -v -s -m /tmp/卷组名.map /dev/卷组名 /dev/dsk/c1t2d0 /dev/dsk/c0t2d0 （注意，在节点2上面的设备文件名字可能与节点1上面不同，必须确认）/个人注释：当同一个共享设备在两个节点上的设备文件名称不同时，需要在vgimport命令后加上目标节点上设备文件的名称。如：vgimport -

8、v -s -m /tmp/vgrac.map /dev/vgrac /dev/dsk/c2t0d06) 在节点2上面激活卷组# vgchange -a y /dev/卷组名 7) 创建mount目录点# mkdir /mnt1 8) Mount文件系统以检查正确性# mount /dev/卷组名/lvol1 /mnt1 9) Umount文件系统# umount /mnt1 10) Deactivate VG# vgchange -a n /dev/卷组名 5.4. 创建其他卷组结构重复上述步骤，创建其他卷组结构5.5. 所有卷组创建完成后编辑/etc/lvmrc文件，保证在系统启动时不自动激

9、活与CLUSTER有关的卷组（将AUTO_VG_ACTIVATE置为0，并确认root卷组包含在custom_vg_activation函数内）。这些卷组将在应用包的control.sh文本中激活。5.6. 最后步骤配置MC/ServiceGuard双机前的最后步骤在配置节点（节点1）上激活所有卷组# vgchange -a y /dev/卷组名 6. 配置CLUSTER（可以使用SAM或命令方式完成）6.1. 生成CLUSTER配置文件模板可以用现成的改# cmquerycl -v -C /etc/cmcluster/cmclconf.ascii -n node1 -n node2 6.2.

10、 编辑CLUSTER配置文件模板CLUSTER_NAME cluster1 #CLUSTER的名字FIRST_CLUSTER_LOCK_VG /dev/vg01 #LOCK卷组,集群解体，各节点谁先抢到Lock VG就有谁重组集群。NODE_NAME node1 #节点名字 NETWORK_INTERFACE lan1 HEARTBEAT_IP 15.13.171.32 #lan1是HEARTBEAT网络 NETWORK_INTERFACE lan2 #lan2是备份网络 NETWORK_INTERFACE lan0 #此网卡不配也可 STATIONARY_IP 192.6.143.10 #l

11、an0的静态IP地址 FIRST_CLUSTER_LOCK_PV /dev/dsk/c1t2d0 #LOCK盘的物理卷名字# SERIAL_DEVICE_FILE /dev/tty0p0 #RS232串行HEARTBEAT线路NODE_NAME node2 NETWORK_INTERFACE lan1 HEARTBEAT_IP 15.13.171.30 /心跳 NETWORK_INTERFACE lan2 /备份 NETWORK_INTERFACE lan0 /数据 STATIONARY_IP 192.6.143.20 FIRST_CLUSTER_LOCK_PV /dev/dsk/c1t2d0

12、# SERIAL_DEVICE_FILE /dev/tty0p0HEARTBEAT_INTERVAL 1000000NODE_TIMEOUT 2000000MAX_CONFIGURED_PACKAGES 20AUTO_START_TIMEOUT 600000000NETWORK_POLLING_INTERVAL 2000000VOLUME_GROUP /dev/vg01VOLUME_GROUP /dev/vg02 #注：所有CLUSTER相关的卷组都要在此写出6.3. 检查CLUSTER配置的正确性（强烈建议：任何时候对双机配置文件做过改动，重新启动双机之前必须进行配置的检查）# cmchec

13、kconf -v -C /etc/cmcluster/cmclconf.ascii 6.4. 设置自动启动参数编辑文件/etc/rc.config.d/cmcluster，将参数AUTOSTART_CMCLD设为1，则在系统自举时自动启动CLUSTER。7. 配置Package和Services（可以使用SAM或命令方式完成）7.1. 创建子目录在/etc/cmcluster中为每个Package创建子目录# mkdir /etc/cmcluster/pkg1 # mkdir /etc/cmcluster/pkg2 7.2. 建立配置文件模板为每个Package建立一个配置文件模板# cmma

14、kepkg -p /etc/cmcluster/pkg1/pkg1conf.ascii # cmmakepkg -p /etc/cmcluster/pkg2/pkg2conf.ascii 7.3. 编辑配置文件模板编辑Package配置文件，根据实际需要修改相关项：PACKAGE_NAME pkg1 NODE_NAME node1 主节点NODE_NAME node2 备份节点RUN_SCRIPT /etc/cmcluster/pkg1/control.sh Package启动脚本RUN_SCRIPT_TIMEOUT NO_TIMEOUTHALT_SCRIPT /etc/cmcluster/p

15、kg1/control.sh Package停止脚本HALT_SCRIPT_TIMEOUT NO_TIMEOUTSERVICE_NAME service1 对每个service重复此3行定义SERVICE_CMDSERVICE_FAIL_FAST_ENABLED NO Service是标识应用avalible与否的。 SERVICE_HALT_TIMEOUT 300SUBNET 15.16.168.0 Package对应的子网（可以多个）。虚拟IP的子网。各个不同的Package间子网可以相同。此子网和真实的子网必须一致。虚拟IP在control.sh中指定。7.4. 建立控制脚本的模板建立P

16、ackage控制脚本的模板# cmmakepkg -s /etc/cmcluster/pkg1/control.sh 7.5. 控制脚本模式设置将Package控制脚本设为可执行模式# chmod +x /etc/cmcluster/pkg1/control.sh 7.6. 编辑控制脚本编辑修改Package控制脚本时注意进行以下工作： 在PATH中增加启动service所需要的路径 增加需要激活的卷组名字 增加需要mount的文件系统和逻辑卷的名字 定义IP地址和子网 增加service名字 增加service命令 注意函数start_services和halt_services中启动和停止

17、service使用的脚本参数，保证service启动和停止命令的正确性7.7. 检查并分发配置文件 将Package控制脚本复制到其他节点# rcp /etc/cmcluster/pkg1/control.sh node2:/etc/cmcluster/pkg1/control.sh 检查CLUSTER配置（强烈建议：任何时候对双机配置文件做过改动，重新启动双机之前必须进行配置的检查）# cmcheckconf -C /etc/cmcluster/cmclconf.ascii -P /etc/cmcluster/pkg1/pkg1conf.ascii -P /etc/cmcluster/pkg

18、2/pkg2conf.ascii 停止Cluster 生成并分发二进制CLUSTER配置文件# cmapplyconf -v -C /etc/cmcluster/cmclconf.ascii -P /etc/cmcluster/pkg1/pkg1conf.ascii -P /etc/cmcluster/pkg2/pkg2conf.ascii 启动Cluster 把相关的VG都使用以下命令激活vgchange c y /dev/vgXX8. 管理Cluster和Package8.1. 管理Cluster和节点8.1.1. 启动Cluster# cmruncl -v # cmruncl -v -n

19、 node1 -n node2 8.1.2. 在已运行的Cluster中增加一个节点运行# cmrunnode -v node2 8.1.3. 在已运行的Cluster中停止一个节点运行# cmhaltnode -f -v node2 8.1.4. 停止整个Cluster# cmhaltcl -f -v 8.1.5. 对Cluster进行重新配置 停止整个Cluster 如果要改变CLUSTER LOCK VG，则# vgchange -c n vg01 # vgchange -a y vg01 重新进行配置工作 cmapplyconf cmruncl8.2. 管理Package和Servic

20、e8.2.1. 启动Package# cmrunpkg -n node1 pkg1 # cmmodpkg -e node1 pkg1 /把切换属性置为yes.故障发生后可以自动切换。很重要！（我是使用 cmmodpkg e pkg1完成这个功能的啊？！）8.2.2. 停止Package，不切换# cmhaltpkg pkg1 8.2.3. 移动Package# cmhaltpkg pkg1 -n node1 # cmrunpkg -n node2 pkg1 # cmmodpkg -e pkg1 /让package可以切换8.2.4. 对Package进行重新配置 停止整个Cluster 修改配

21、置文件 修改control.sh文件（注意保证所有节点一致） cmapplyconf cmruncl8.3. 查看运行情况# cmviewcl -v 8.4. 修改VG配置先用vgcfgbackup备份需要修改的VG信息。！重要！主机vgchange -c n /dev/vgaa vgchange -a y /dev/vgaa lvcreate. vgexport -s -v -p -m /tmp/vgaa.map /dev/vgaa rcp /tmp/vgaa.map 主机2：/tmp/vgaa.map vgchange -a n /dev/vgaa 备机vgexport /dev/vgaa

22、 mkdir /dev/vgaa mknod /dev/vgaa/group c 64 0xaa0000 vgimport -s -v -m /tmp/vgaa.map /dev/vgaa 最后用strings /etc/lvmtab验证一下，看看两边的内容是否一样9. 测试Cluster配置9.1. 测试Package Manager1) 得到service的pid（使用ps -ef命令）2) 杀死service进程（使用kill命令）3) 使用cmviewcl -v命令查看状态4) 将Package移动回原节点5) 对数据库系统的测试可以根据具体情况进行9.2. 测试Cluster Man

23、ager1) 关闭一个节点的电源2) 使用cmviewcl -v命令查看状态3) 打开节点的电源4) 使用cmviewcl -v命令查看状态5) 将Package移动回原节点6) 对数据库系统的测试可以根据具体情况进行9.3. 测试Network Manager1) 使用lanscan命令得到主/备网络信息2) 使用cmviewcl -v命令查看状态3) 从主网卡上拔掉网线4) 使用cmviewcl -v命令查看状态（应完成本地网络切换）5) 重新连接网线6) 使用cmviewcl -v命令查看状态9.4. 激活VG的方式1） 独占方式#vgchange a e /dev/vgxx /以独占方

24、式激活2） 普通方式#vgchange c n /dev/vgxx#vgchange a y /dev/vgxx10. 故障诊断方法1、 检查Cluster和Package状态使用cmviewcl -v命令2、 检查RS232状态使用cmviewcl -v命令3、检查Package IP地址使用netstat -in命令4、查看LOG文件/var/adm/syslog/syslog.log/etc/cmcluster/pkg1/control.sh.log5、查看Cluster和Package配置文件6、查看Package控制脚本文件（control.sh）7、使用cmquerycl和cmch

25、eckconf命令检查配置的合法性8、检查LAN配置情况# netstat -in# lanscan# arp -a# landiag# linkloop# /usr/contrib/bin/cmgetconfig -f# cmviewcl -v附：一些有用的系统命令查看硬件配置情况# /usr/sbin/dmesg# /usr/sbin/ioscan# /usr/sbin/lssf /dev/rdsk/c0t5d0# diskinfo /dev/rdsk/c0t5d0# swapinfo # lanscan 配置LAN# /sbin/set_parms hostname# /sbin/set

26、_parms ip_address编辑etc/hosts 文件reboot或# /sbin/set_parms initial（根据提示操作）创建新文件系统# newfs -F hfs # mkdir /mountpoint # mount /mountpoint Edit /etc/fstab file扩充HFS文件系统# umount /mountpoint # lvextend -L 400 # extendfs # mount /mountpoint 移动文件系统# newfs -F hfs /dev/vg01/rlvol1 # mkdir /home.new # mount /dev

27、/vg01/lvol1 /home.new # cd /home # find . | cpio -pdumv /home.new # rm -rf /home/* # umount /home.new # mount /dev/vg01/lvol1 /home # rmdir /home.new 文件系统日常维护/var/adm/wtmp/var/adm/btmp/var/adm/sulog/var/adm/cron/log/var/spool/mqueue/syslog/var/spool/mqueue/senmail.st/var/spool/uucp/.Admin/*/usr/spoo

28、l/uucp/.Log/*/var/adm/lp/log/var/adm/messages/var/adm/sw/swinstalllog/var/adm/sw/swremovelog/var/adm/sw/sw*.log删除core文件# find / -name core -exec rm 将磁盘从一个卷组移到另一个卷组# pvmove /dev/dsk/c3t2d0 # vgreduce /dev/vg01 /dev/dsk/c3t2d0 # vgextend /dev/vg02 /dev/dsk/c3t2d0 PV-Link（物理卷链路）配置只在主链路上面执行pvcreate。在创建卷组时将所有链路包含在vgcreate命令的参数内。在已有的卷组中增加PV-Link：vgextend vgXX /dev/dsk/在已有的卷组中删除PV-Link：vgreduce vgXX /dev/dsk/