sun Cluster双机改造文档.docx
《sun Cluster双机改造文档.docx》由会员分享，可在线阅读，更多相关《sun Cluster双机改造文档.docx（50页珍藏版）》请在冰豆网上搜索。
sunCluster双机改造文档
FZPU双机安装文档
（Solaris10+Oracle9i+SVM+SunCluster3.1）
文档版本：
RCV1.0
编写作者：
Fzpu
印刷约定
蓝色代表系统showrun内容
红色代表注释
参考资料:
SunCluster3.18/05发行说明（适用于SolarisOS）
SunCluster软件安装指南（适用于SolarisOS）
SunCluster系统管理指南（适用于SolarisOS）
用于Oracle的SunCluster数据服务指南（适用于SolarisOS）
SolarisVolumeManager管理指南
SunStorageTek™CommonArrayManager软件安装指南
SunStorageTek™6140阵列硬件安装指南
日期：
2008.11.1
硬件环境：
1）管理工作站：
无
2）服务器：
2×SUNV490
3）磁盘阵列：
SUNStortek6140
软件环境：
1）Solaris10
2）SunCluster3.1
3）SunClusteragentforHA-Oracle
4）SolarisVolumeManager
主机命名规则：
服务器：
第一台V490：
web-db1；第二台V490：
web-db2
Suncluster+oracle安装规划（如表K-1所示）：
表K-1
操作系统
SunSolaris1005/08
集群软件
SunCluster3.1
卷管理软件
SolarisVolumeManager
数据库软件
Oracle9.2.1.0
节点1
172.16.99.4
节点2
172.16.99.5
浮动IP地址
172.16.99.66
子网掩码
255.255.255.0
网关
172.16.99.254
IPMP测试IP地址
172.16.99.21web-db1-ce0-test
172.16.99.22web-db1-ce1-test
172.16.99.23web-db2-ce0-test
172.16.99.24web-db2-ce1-test
节点1对应的主机名
web-db1
节点2对应的主机名
web-db2
Cluster名称
fzpu-cluster
系统用户
oracle（dba组）
浮动IP对应的主机名
web-db
一服务器V490的安装：
1.安装前的规划
每台服务器配有两个146G的硬盘做raid1，其中web-db1有16G内存做主节点,web-db2有8G
内存。
系统安装好之后，两个节点的分区一致，避免出现不可预料的情况。
按图1的连接方式，使web-db1和web-db2同时连接6140，确保两台主机都能找到Stortek6140内的硬盘。
图1:
2.操作系统安装
1）操作系统：
Solaris10
注意：
在安装操作系统的过程中千万要注意两台主机都不要接存储，不然的话两台主机的系统盘和Stortek6140的Target号会不一致，会对以后的安装产生影响。
2）安装操作系统EIS补丁
详细步骤
3）按照以下的规划安装操作系统web-db1与web-db2相同（表K-2）：
由于要安装SC3.1+svm，请预留系统盘的第5分区空间1G，用来建立/globaldevices，第七分区空间512MB用来放置metadb信息
注：
/globaldevices-创建一个512兆字节的文件系统供scinstall实用程序针对全局设备使用。
（分片7）meta分区用于存放卷管理器的状态数据库副本在磁盘的最后一个分片
上创建一个20兆字节的分区供卷管理器使用。
如果群集使用VERITASVolumeManager（VxVM）并且您要封装根磁盘，则需要有两个未使用的盘片以供VxVM使用。
表K-2
分区号
分区名
分区大小
说明
0
/
91325MB
为分片1至7分配空间后磁盘中剩余的空闲空间。
可供Solaris
OS、SunCluster软件、数据服务软件、卷管理器软件、Sun
ManagementCenter代理和SunCluster模块代理软件包、根文件
系统以及数据库和应用程序软件使用。
1
Swap
16G
2
Overlap
139989MB
整个磁盘
3
/var
20G
4
/tmp
10G
5
/globaldevices
1GB
SunCluster软件稍后会给该盘片指定一个不同的装载点并将它装载
为一个群集文件系统。
6
未使用
7
卷管理器
512MB
metadb专用
文件系统和磁盘格式
下列汇总是你当前的文件系统和磁盘格式,基于你所提供的信息.
注意:
如果你选择用户化,则你应该了解文件系统,
它们在磁盘上的期望目的以及如何改变它们可能会影响系统的操作.
文件系统/安装点硬盘/分片大小
========================================================================
/c1t1d0s091325MB
swapc1t1d0s116386MB
overlapc1t1d0s2139989MB
/varc1t1d0s320481MB
/tmpc1t1d0s410245MB
/globaldevicesc1t1d0s51033MB
c1t1d0s7516MB
4）设置OBP变量local-mac-address为true，
在OBP下：
setenvlocal-mac-address?
true
或在Solaris下：
eepromlocal-mac-address?
=true
注：
（此选项为solaris多路径必须满足的条件，local-mac-address?
变量必须使用Ethernet适配器的默认值true。
对于以太网适配器，SunCluster软件不支持local-mac-address?
的值为false。
此要求与SunCluster3.0不同，SunCluster3.0要求local-mac-address?
的值为false。
）
5）配置/etc/hosts，输入所有cluster节点和逻辑主机IP记录：
在两台主机上配置好 IPMP
连接两条ce口私网线
配置IPMP
web-db1的/etc/hosts信息
#
#Internethosttable
#
:
:
1localhost
127.0.0.1localhost
172.16.99.4web-db1loghostweb-
172.16.99.5web-db2
#IPMPtestaddress
172.16.99.21web-db1-ce0-test
172.16.99.22web-db1-ce1-test
#logicaddress
172.16.99.66web-db（全局逻辑地址）
web-db1的/etc/hostname.ce0信息
web-db1netmask+broadcast+groupipmp0up
addifweb-db1-ce0-testnetmask+broadcast+deprecated-failoverup
web-db1的/etc/hostname.ce1信息
web-db1-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup
web-db2的/etc/hosts信息
root@web-db2#cat/etc/hosts
#
#Internethosttable
#
:
:
1localhost
127.0.0.1localhost
172.16.99.5web-db2loghostweb-
172.16.99.4web-db1
#IPMPtestaddress
172.16.99.23web-db2-ce0-test
172.16.99.24web-db2-ce1-test
#logicaddress
172.16.99.66web-db（全局逻辑地址）
web-db2的/etc/hostname.ce0信息
web-db2netmask+broadcast+groupipmp0up
addifweb-db2-ce0-testnetmask+broadcast+deprecated-failoverup
web-db2的/etc/hostname.ce1信息
web-db2-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup
以下在两机上完成
6）修改文件/etc/defaultrouter，设置缺省路由
vi/etc/defaultrouter
172.16.99.254
7）修改文件/etc/system，加入以下3行：
exclude:
lofs
setce:
ce_taskq_disable=1
二．Stortek6140安装识别
.1配置StorEdge6140：
详细配置
注：
StorEdge6140共有10块146GFC硬盘，其中8个硬盘做RAID5，剩下的2个做hotspare盘。
由于suncluster需要一个quorum盘，Oracle需使用raw做文件系统，所以划分了三个partion。
Quorum分区1024MB即可。
让系统重新扫描硬件设备
root@web-db1#reboot---r
运行cfgadm –al 可以看见系统已经注册了控制器，只需启用多路径mpxio即可。
root@web-db1#cfgadm-al
Ap_IdTypeReceptacleOccupantCondition
c0scsi-busconnectedconfiguredunknown
c0:
:
dsk/c0t0d0CD-ROMconnectedconfiguredunknown
c1fc-privateconnectedconfiguredunknown
c1:
:
5000cca00432dcc9diskconnectedconfiguredunknown
c1:
:
5000cca00432dce1diskconnectedconfiguredunknown
c2fc-privateconnectedconfiguredunknown
c2:
:
200400a0b82aaf01diskconnectedconfiguredunknown
c3fc-privateconnectedconfiguredunknown
c3:
:
200500a0b82aaf01diskconnectedconfiguredunknown
usb0/1usb-mouseconnectedconfiguredok
usb0/2usb-deviceconnectedconfiguredok
usb0/3unknownemptyunconfiguredok
usb0/4unknownemptyunconfiguredok
root@web-db1#ls-l/dev/fc
总数6
lrwxrwxrwx1rootroot5112月1日12:
55fp0->../../devices/pci@8,600000/SUNW,qlc@1/fp@0,0:
devctl
lrwxrwxrwx1rootroot5112月1日12:
55fp1->../../devices/pci@8,600000/SUNW,qlc@2/fp@0,0:
devctl
lrwxrwxrwx1rootroot5112月1日12:
55fp2->../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:
devctl
注：
（fp0,fp1为HBA卡上的光纤通道,fp2为本地的光线通道
fp0,fp1开启多路径，fp2关闭多路径）
root@web-db1#vi/kernel/drv/fp.conf
添加如下语句。
注释掉
#mpxio-disable="yes";
parent="/pci@8,600000/SUNW,qlc@1"port=0mpxio-disable="no";name="fp"
parent="/pci@8,600000/SUNW,qlc@2"port=0mpxio-disable="no";name="fp"
//fp0,fp1开启多路径
parent="/pci@9,600000/SUNW,qlc@2"port=0mpxio-disable="yes";name="fp"
//fp2关闭多路径
注:
（多路径软件用于管理指向共享群集存储设备的多个I/O路径。
对于Solaris8或Solaris9操作系统，安装并配置SunStorEdgeTrafficManager软对于Solaris10操作系统，启用Solaris多路径功能，此功能作为Solaris10软件的一部分已被默认安装。
以上表明在HBA卡FC接口上启用mpxio，而不是全局启用。
这样正常阵列设备识别的磁盘号就为长串字符，而本地磁盘识别的磁盘号为正常的cxtxsx，因为只是在FC口局部启用的多路径，而本地禁用多路径）
root@web-db1#stmsboot–u
WARNING:
Thisoperationwillrequireareboot.
Doyouwanttocontinue?
[y/n]（default:
y）y
Thechangeswillcomeintoeffectafterrebootingthesystem.
Rebootthesystemnow?
[y/n]（default:
y）y
在web-server2上执行相同的步骤
可以看见盘阵已经变成multipath-devices
root@web-db1#format
Searchingfordisks...done
AVAILABLEDISKSELECTIONS:
0.c1t0d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dcc9,0
1.c1t1d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,0
2.c4t600A0B80002A2B320000066F492B138Dd0
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3.c4t600A0B80002AAF00000007BF492B135Cd0
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4.c4t600A0B80002AAF00000007C5492B13D6d0
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6
Specifydisk（enteritsnumber）:
root@web-db2#format
Searchingfordisks...done
AVAILABLEDISKSELECTIONS:
0.c1t0d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d59a1,0
1.c1t1d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d0ef5,0
2.c4t600A0B80002A2B320000066F492B138Dd0
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3.c4t600A0B80002AAF00000007BF492B135Cd0
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4.c4t600A0B80002AAF00000007C5492B13D6d0
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6
三．Cluster软件安装配置
1.Sun软件的安装
双机软件采用sun公司的suncluster3.1，此软件已经集成到JES（JavaEnterpriseSystem）软件包中。
cd/var/spool/stage/JES_05Q4/Solaris_sparc
可通过运行以下命令进行安装：
GUImode:
./installer
CLImode:
./installer-nodisplay
2.SunCluster环境配置
两个节点通讯用
root@web-db1#vi.rhosts
+
root@web-db1#vi/etc/hosts.equiv
web-db1
web-db2
web-db
3，打EIS补丁
软件安装完毕之后，也需要打补丁。
不过suncluster安装完毕之后，系统默认已经启动服务，安装补丁之前需停用suncluster服务。
（两个节点上做）
安装完毕后，执行
reboot---x
重启之后不进入suncluster环境
安装SC3.1的patches；
root@web-db1#lofiadm-a/opt/iso/eis-dvd.iso/dev/lofi/1
root@web-db1#lofiadm
BlockDeviceFile
/dev/lofi/1/opt/iso/eis-dvd.iso
root@web-db1#mount-F/dev/lofi/1/mnt/iso/
root@web-db1#mount-Fhsfs/dev/lofi/1/mnt/iso/
root@web-db1#cd/mnt/iso/sun/install
root@web-db1#./setup-standard.sh
init6重启系统。
root@web-db1#unpack-patches
注：
（进入cluster补丁包的目录，用这个命令一次打EIS补丁集）
然后执行命令init6重启系统。
在web-db2上执行以上相同的步骤
4.Scintall配置
配置主节点web-db1
具体内容摘录:
root@web-db1#scinstall
***主菜单***
请选择以下某一带（*）的选项：
*1）安装群集或群集节点
2）将群集配置为从此安装服务器中快速启动
3）在此群集节点中添加对新数据服务的支持
4）升级此群集节点
5）打印此群集节点的发行信息
*?
）菜单选项中的帮助
*q）退出
选项：
1
***安装菜单***
请选择以下任一选项：
1）安装新群集的所有节点
2）只将此机器安装为新群集的第一个节点
3）将此机器添加为现有群集中的节点
?
）菜单选项中的帮助
q）返回主菜单
选项：
2
***只安装新群集的第一个节点***
此选项用于建立新的群集，该群集使用此机器作为其第一个节点。
安装群集框架软件之后，系统将要求您输入群集的名称。
然后，您可以运行
sccheck（1M）来测试此机器是否满足SunCluster预配置的基本要求。
sccheck（1M）通过后，系统将要求您输入最初将加入该群集的其他节点的名称
。
除非此群集为单节点群集，否则系统还将要求您输入某些群集传输配置信息
。
可以随时按Control-d组合键返回主菜单。
是否要继续（yes/no）[yes]?
y
>>>安装类型<<<
进行群集安装时可以选择两种安装类型。
对于大多数群集，建议使用“典型”
安装。
但是，如果不是所有的“典型”缺省值都适用于您的群集，可能需要选
择“定制”选项。
有关“典型”安装和“定制”安装这两种方法之间的差别的详细信息，
请从菜单中选择“帮助”选项。
请选择以下某一选项：
1）典型
2）定制
?
）帮助
q）返回主菜单
选项：
[1]2
注：
（选择定制安装，因为在其后将配制用于集群成员间通信的专用网络地址，cluster给出的地址为172.16.0.0/16与我们现有的IP地址重复，要将它改为屏蔽的专用子网例如10.10.0.0
升级会员 