MC经典攻略.docx
《MC经典攻略.docx》由会员分享,可在线阅读,更多相关《MC经典攻略.docx(24页珍藏版)》请在冰豆网上搜索。
![MC经典攻略.docx](https://file1.bdocx.com/fileroot1/2022-11/28/88e4bbf9-254b-4b39-9f7a-27198407657b/88e4bbf9-254b-4b39-9f7a-27198407657b1.gif)
MC经典攻略
MC软件是一个使用的比较广泛的CLUSTER成熟版本
下面开始介绍MC的实践步骤:
做双机热备的时候需要提前准备:
1:
两台机器如果是用SCSI连接,必须避免SCSIID的冲突问题
HP提供了GSP模式,可以认为GSP就是HP的主板设置(BIOS),可以改动一台主机的ID,比如7改动为6,如果是三台做CLUSTER,那么就要7,6,5分别跳开ID号码。
修改一台主机的SCSIID。
将各条SCSI线缆连接正确后,加电。
在其中一台机器系统启动至提示“Todiscontiue,pressanykeywithin10seconds”时,按任意键进入“MainMenu:
Entercommandormenu>”提示下,输入“scsi”进入
这个时候,可以看到目前主板上连接的SISI的ID号码,都是7
“ServiceMenu:
Entercommand>”状态,输入
ServiceMenu:
Entercommand>scsirate0/3/0/0fast
ServiceMenu:
Entercommand>scsirate0/6/0/0fast
上面有关rate的速率(FW,DF)设置可以忽略,即使你设置SCSI规格,主板会自动确认。
ServiceMenu:
Entercommand>scsiinit0/3/0/06
ServiceMenu:
Entercommand>scsiinit0/3/0/06
关于0/3/0/0是主板上看到的硬件地址,用标签的形式在HP主机背后贴着,如需要可以参考HP系统管理手册。
类似SUN的probe-scsi-all命令观察的结果。
这样就将一台主机上的两块SCSI卡的SCSIID改成了6(缺省是7)。
然后,输入
ServiceMenu:
Entercommand>bo
从默认设备(/dev/dsk/c1t2d0)启动,
出现
InteractwithIPL(Y,NorCancel)?
>
是否需要打断,回答“Y”,由此可进入维护模式,单用户模式,忽略quorum模式,从SHELL修复模式
选择“N”,继续引导系统。
机器启动以后,强烈建议使用ioscan–fnC全面搜索I/O设备,确定ID号码确实改动成“6”了,这个问题在重庆被我们的一个同事遭遇,改动了另外的一个SCSI的ID,该改动是“假改”,UNIX系统没有变,导致的问题是一台机器可以启动,另外一台总是底层BIOS启动后,无法进入系统级别的启动。
2:
在HP主机上安装MC的步骤
首先,必须根据HP对所安装的软件提供的License(CustomerIdentifier)在
上申请该软件的Codeword。
然后,将光盘(光盘的驱动是/dev/dsk/c3t2d0)放入驱动器中,MOUNT以后,在超级用户提示符下执行
#swinstall–s/dev/dsk/c3t2d0
进入交互式界面后,先加Codeword,才能在列表见到需安装的软件。
最后,按其提示完成该软件的安装。
需要注意,两台机器需要不同的密码。
3:
网络准备要万无一失
关于网络的准备,一定要仔细,有图纸,IP规划,对应的机器主板结构示意图,如果网络有蹊跷,最好不要做MC
比如:
某些超市的客户启动了NFS服务,那么在以后的启动过程,会有SENDMAIL的冲突,更厉害的是某些用户使用变长子网掩码,使用一个错误的IP地址,主机位抢夺网络位的地址,结果是机器在启动NFS进程的时候死循环,或者启动SAM的时候突然死机。
有的客户的应用软件编写的很厉害,直接改动/etc/inittab,或者某些ISP用户温柔的改动了解析地址的方式,开了/etc/nsswitch文件,结果是ping一个地址是通的,但是telnet需要20分钟,MC不是很智能,后面的配置中MC会混淆ping和telnet,无法通过。
IP的网段要隔绝好,不要出现局域网有重名的IP地址。
推荐使用HP的三大底层法宝命令
#lanscan看主机的底层物理状况,是否UP,(注意这个命令无法看到IP层)
#netstat–rn看IP地址绑定是否正确
#nslookuphny01看自己可不可以解析自己
改动.rhosts文件,/etc/hosts写入互相的主机名字,符合BERKELY协议,可以互相rlogin
比如:
hp110.0.0.1
hp1192.168.0.1
hp210.0.0.2
hp2192.168.0.2
在安腾的操作系统,本人感觉这个系统有些小问题,11.23版本,要非常规范的写hosts文件,比如:
hp110.0.0.1
hp1hb192.168.0.1
hp210.0.0.2
hp2hb192.168.0.2
如果不这样写,主机会在cmquery时候有个LOCALDOMAIN类似的错误
11.23的SAM,KERNAL调节,CVUI有各种小问题,可见这个版本的不成熟。
有的ISP用户用户,数据库结构主机名解析方式多样,干脆在.rhosts文件写入一个
+也是一个很好的偷懒方法,但在OPS的ORACLE环境有一些小问题。
在西安移动见过一个客户很厉害,MC配置说网络有问题,怎么也无法进行,我给了他#lanscan,#netstat–rn,#nslookuphny01三大命令,还是无法检测到问题,后来到现场一看,发现他的文件/etc/hosts里面的两个主机名的互相信任是用大写的字母,所以用三大法宝也检测不出来
VLAN,防火墙,MAC加密,网络聚合等一定要小心,有些网络环境会导致MC不稳定,而且很会发生很隐蔽的错误。
4.磁盘柜AutoRAID逻辑盘的建立划分
用AutoraidArray控制面板菜单操作,划分逻辑盘。
AutoRaid的物理盘应用情况:
一共4个9.1G硬盘:
四个做RAID5。
缺省情况下,Autoraid有一个hotspare盘。
将“ActiveSpare”属性Disable,去掉hotspare盘,划分四个逻辑盘
设备名大小如下:
/dev/dsk/c4t1d0and/dev/dsk/c5t0d0100M(作为lock磁盘)
/dev/dsk/c4t1d1and/dev/dsk/c5t0d18G
/dev/dsk/c4t1d2and/dev/dsk/c5t0d28G
/dev/dsk/c4t1d3and/dev/dsk/c5t0d36G
由于是双SCSI线缆备份系统,一个逻辑盘有两个设备名。
注意:
使用pvcreate–f强制格式化命令以后,/dev/rdsk/里面的设备才会有/dev/dsk里面的驱动,否则的话是raw设备,不可以被vg使用。
阵列柜的错误可以是用千奇百怪形容!
尤其是升级,重新安装的时候,我随便点几个错误,具体事情还是很复杂
A5149用来接SC10,JBOD做MC,里面有一个跳线的奇怪故障
COMBO卡做MC,无法跳ID号码,主机只有冲突不断
AUTORAID有的老硬盘有隐患!
加电状态可以REBUILD,断电重启动,会发生集体瘫痪,主要是因为电源,风扇支持的硬盘匹配合作有问题
VA7100有一个硬盘FIREWARE版本的问题,会有奇怪的问题
FC60问题更多,电池错误,一个柜子瘫痪,需要amutil逐个恢复,确认,
但是FC60控制卡比较结实,往往他的错误是由于其他环境引起,一般不要怀疑控制卡
AUTORAID的SCSI电缆如果有SCSIRESET错误,会让OPS或者裸文件的ORACLE的当前RBS有巨大损失,导致崩溃!
用ILT电缆保护也没用,小心为上
MSA做MC的时候,用diskinfo可以查看硬盘,但是无法格式化,因为MSA本身的结构问题
EVA系列本身很好用,注意SECUERPATH多路径问题和硬盘对两个主机的PRESATATION,应该是宣告的意思。
下面是双机的配置方式:
1.这一步重要是两台主机的LV,VG设置,可以理解是为MC设置“骨骼”
A:
在主机hnyb01上创建卷组vgdb和vglock
#cd/dev
#mkdirvglockvgdb
#mknod/dev/vglock/groupc640x010000
#mknod/dev/vgdb/groupc640x020000
#pvcreate–f/dev/rdsk/c4t1d0
#pvcreate–f/dev/rkdsk/c4t1d1
#pvcreate–f/dev/rkdsk/c4t1d2
#pvcreate–f/dev/rkdsk/c4t1d3
#pvcreate–f/dev/rkdsk/c5t0d0
#pvcreate–f/dev/rkdsk/c5t0d1
#pvcreate–f/dev/rkdsk/c5t0d2
#pvcreate–f/dev/rkdsk/c5t0d3
#vgcreate/dev/vglock/dev/dsk/c5t0d0/dev/dsk/c4t1d0
#vgcreate/dev/vgdb/dev/dsk/c5t0d1/dev/dsk/c5t0d2/dev/dsk/c5t0d3/dev/dsk/c4t1d1/dev/dsk/c4t1d2/dev/dsk/c4t1d3
在主机hnyb01上执行,创建逻辑卷。
#lvcreate–L20000–noradata/dev/vgdb
#lvcreate–L1000–noralog1/dev/vgdb
#lvcreate–L1000–noralog2/dev/vgdb
#lvcreate–L1000–noralog3/dev/vgdb
#newfs–Fvxfs/dev/vgdb/roradata
#newfs–Fvxfs/dev/vgdb/roralog1
#newfs–Fvxfs/dev/vgdb/roralog2
#newfs–Fvxfs/dev/vgdb/roralog3
在两台主机分别建立mount点。
#cd/
#mkdiroradataoralog1oralog2oralog3
注意:
A的步骤其实也可以使用简单的方法,使用SAM直接建立VG,LV就可以了,A的方法需要对HP的LVM有相当的了解。
B:
在主机hnyb02上创建group文件
#cd/dev
#mkdirvgdbvglock
#mknod/dev/vglock/groupc640x010000
#mknod/dev/vgdb/groupc640x020000
注意:
#mknod/dev/vglock/groupc640x010000
#mknod/dev/vgdb/groupc640x020000
这两个命令使用的0x020000,0x010000一定要和主机hny01要严格符合,否则下一步会有错误。
在IBM系统的HACMP中这个步骤是不需要手工做的。
C:
在主机hnyb01上将卷组映射复制到指定文件。
#vgexport–p–s–m/tmp/vgdb.map/dev/vgdb
#vgexport–p–s–m/tmp/vglock.map/dev/vglock
将文件复制到hnyb02上:
#rcp/tmp/vgdb.maphnyb01:
/tmp/vgdb.map
#rcp/tmp/vglock.maphnyb01:
/tmp/vglock.map
将映射文件导入卷组数据,在hnyb02上输入:
#vgimport–s–m/tmp/vgdb.map/dev/vgdb
#vgimport–s–m/tmp/vglock.map/dev/vglock
注意:
#vgimport–s–m/tmp/vgdb.map/dev/vgdb
#vgimport–s–m/tmp/vglock.map/dev/vglock
在两台主机配置完全相同的情况,使用SAM可以简单完成,但是有的时候两台主机不是一个型号,或者型号相同的主机插的卡位置不同,就会有以下问题:
从主机一看磁盘的驱动是:
/dev/dsk/c4t1d0and/dev/dsk/c5t0d0100M
/dev/dsk/c4t1d1and/dev/dsk/c5t0d18G
/dev/dsk/c4t1d2and/dev/dsk/c5t0d28G
/dev/dsk/c4t1d3and/dev/dsk/c5t0d36G
可能主机二看到的是:
/dev/dsk/c3t1d0and/dev/dsk/c6t0d0100M
/dev/dsk/c3t1d1and/dev/dsk/c6t0d18G
/dev/dsk/c3t1d2and/dev/dsk/c6t0d28G
/dev/dsk/c3t1d3and/dev/dsk/c6t0d36G
使用系统观察,确实没错,主机二的驱动无法和主机一的匹配,这个时候,在主机二上要改动下面的语句:
#vgimport–s–m/tmp/vgdb.map/dev/vgdb
#vgimport–s–m/tmp/vglock.map/dev/vglock
变为使用特定参数的步骤:
#vgimport–s–m/tmp/vgdb.map/dev/vgdb/dev/dsk/c3t1d1/dev/dsk/c6t0d1
/dev/dsk/c3t1d2/dev/dsk/c6t0d2/dev/dsk/c3t1d3/dev/dsk/c6t0d3
#vgimport–s–m/tmp/vglock.map/dev/vglock/dev/dsk/c3t1d0/dev/dsk/c6t0d0
曾经在中旅尚洋公司的方案里面,因为涉及到一个旧型号K系列的HP主机使用的10.0操作系统升级到11.0,和新型号L系列的HP主机做MC,需要保持同一个操作系统,所以需要上面的特定参数的步骤
在特定的一个系统,需要使用Y字线缆,也需要使用特定参数的步骤,但是原理相通的。
强调:
做这个前要先复制/etc/lvmtab文件,我见过多次有人误操作vgscan让这个文件丢失的情况,也有乱用导致ORACLE的VG丢失的情况。
做make_recovery要小心,一定要先备份
cp/etc/lvmtab/etc/lvmtab.old
这个是因为这个make_recovery机制决定的,他只恢复vg00
如果用veritas的文件结构,有的时候要用mediainit非常手段,实在是不可理解。
2.系统级别的MC配置
A:
指定群集节点和生成群集配置模版文件并改动模版文件
#cmquerycl–v–C/etc/cmcluster/cmclconf.ascii–nhnyb01–nhnyb02
注意:
有时候系统的CLUSTER里面主机不止两个,要在-n跟上各个主机的名字.
两个主机版本不同,密码不同有时候会有问题
生成文件后,用vi改动,红色表示需要人工干预的参数
#vi/etc/cmcluster/cmclconf.ascii
#**********************************************************************
#*********HIGHAVAILABILITYCLUSTERCONFIGURATIONFILE***************
#*****Forcompletedetailsaboutclusterparametersandhowto****
#*****setthem,consultthecmquerycl(1m)manpageoryourmanual.****
#**********************************************************************
#Enteranameforthiscluster.Thisnamewillbeusedtoidentifythe
#clusterwhenviewingormanipulatingit.
CLUSTER_NAMEcluster
#注意:
给CLUSTER起一个名字,方便记忆就可以,没有固定约束
#ClusterLockDeviceParameters.Thisisthevolumegroupthat
#holdstheclusterlockwhichisusedtobreakaclusterformation
#tie.Thisvolumegroupshouldnotbeusedbyanyothercluster
#asclusterlockdevice.
FIRST_CLUSTER_LOCK_VG/dev/vg_lock
#注意:
lock盘在HP和IBM都有类似的概念,用来仲裁双机的占领vg权利
NETWORK_INTERFACElan0
HEARTBEAT_IP192.1.1.1
NETWORK_INTERFACElan1
HEARTBEAT_IP10.10.10.9
NETWORK_INTERFACElan2
FIRST_CLUSTER_LOCK_PV/dev/dsk/c5t0d0
#注意:
物理路径要符合,不要把vgdb和vglock两个混淆
#Listofserialdevicefilenames
#Forexample:
#SERIAL_DEVICE_FILE/dev/tty0p0
#Warning:
Therearenostandbynetworkinterfacesforlan0.
#Warning:
Therearenostandbynetworkinterfacesforlan2.
NODE_NAMEhnyb02
NETWORK_INTERFACElan0
HEARTBEAT_IP192.1.1.2
NETWORK_INTERFACElan1
HEARTBEAT_IP10.10.10.10
NETWORK_INTERFACElan2
FIRST_CLUSTER_LOCK_PV/dev/dsk/c5t0d0
#注意:
物理路径要符合,不要把vgdb和vglock两个vg的物理地址混淆
#ClusterTimingParmeters(microseconds).
HEARTBEAT_INTERVAL1000000
NODE_TIMEOUT2000000
#注意:
节点轮询时间和超时设置,一般不动,毫秒为单位
#Configuration/ReconfigurationTimingParameters(microseconds).
AUTO_START_TIMEOUT600000000
NETWORK_POLLING_INTERVAL2000000
#注意:
网络启动时间,失败时候的顺序,一般不动,毫秒为单位
#PackageConfigurationParameters.
#Enterthemaximumnumberofpackageswhichwillbeconfiguredinthecluster.
#Youcannotaddpackagesbeyondthislimit.
#Thisparameterisrequired.
MAX_CONFIGURED_PACKAGES1
#注意:
MC里面需要预留几个程序包,有的环境是2个,3个,多个程序包多会耗费一定的内存
如果程序包只预留了一个,以后要加程序包,这个参数不可逆,所以要重新做MC生成模版
#ListofclusterawareVolumeGroups.Thesevolumegroupswill
#beusedbypackageapplicationsviathevgchange-aecommand.
#Forexample:
#VOLUME_GROUP/dev/vgdatabase.
#VOLUME_GROUP/dev/vg02.
VOLUME_GROUP/dev/vglock
VOLUME_GROUP/dev/vgdb
#注意:
要给出和主机对应的vg,有的时候有3,4个vg
B:
验正群集配置
#cmcheckconf–k–v–C/etc/cmcluster/cmclconf.ascii
如果没有报错信息,显示完成信息,即表示通过。
有的时候有一些有关CDROM的小警告,但是只要系统建议你可以做下一步,只要提示是complete就OK
C:
在节点间分发配置文件
#vgchange–ay/dev/vglock
#cmapplyconf–k–v–C/etc/cmcluster/cmclconf.ascii
#vgchange–an/dev/vglock
注意:
#vgchange–ay/dev/vglock
因为分发是正式的要发二进制的控制文件,一定要提前激活vglock的属性,否则以后MC启动有小问题
D:
检验一下,处理一些小问题
为了避免卷组的自动激活,vg的属性不属于本地的vg00管理,要交给MC的vlmd进程接管.
注意:
编辑所有节点上的/etc/lvmrc文件。
将AUTO_VG_ACTIVATE设为0。
运行群集
#cmruncl–f–v
查看群集状态
#cmviewcl–v
停用群集
#cmhaltcl–f–v
这个时候没有带任何程序包的MC就配置好了,如果去听HP的课程,那么大概就要结束了,可是有关怎样带动ORACLE包启动和监控,HP是不做讲解的.但是代理商和用户最关心的问题是关于ORACLE程序包如何和HP-UX配合的问题.
2.应用级别的ORACLE程序包配置
A:
创建程序包配置模板,编辑这些模板文件,以指定程序包名称、按优先级排序的节点列表、控制脚本的位置以及各个程序包的故障切换参数。
#mkdir/dev/cmcluster/pkg1
#cmmakepkg–p/etc/cmc