sun Cluster双机改造文档.docx
《sun Cluster双机改造文档.docx》由会员分享,可在线阅读,更多相关《sun Cluster双机改造文档.docx(50页珍藏版)》请在冰豆网上搜索。
![sun Cluster双机改造文档.docx](https://file1.bdocx.com/fileroot1/2023-1/26/c887b71d-6e6d-4d39-90de-068af86e8b7f/c887b71d-6e6d-4d39-90de-068af86e8b7f1.gif)
sunCluster双机改造文档
FZPU双机安装文档
(Solaris10+Oracle9i+SVM+SunCluster3.1)
文档版本:
RCV1.0
编写作者:
Fzpu
印刷约定
蓝色代表系统showrun内容
红色代表注释
参考资料:
SunCluster3.18/05发行说明(适用于SolarisOS)
SunCluster软件安装指南(适用于SolarisOS)
SunCluster系统管理指南(适用于SolarisOS)
用于Oracle的SunCluster数据服务指南(适用于SolarisOS)
SolarisVolumeManager管理指南
SunStorageTek™CommonArrayManager软件安装指南
SunStorageTek™6140阵列硬件安装指南
日期:
2008.11.1
硬件环境:
1)管理工作站:
无
2)服务器:
2×SUNV490
3)磁盘阵列:
SUNStortek6140
软件环境:
1)Solaris10
2)SunCluster3.1
3)SunClusteragentforHA-Oracle
4)SolarisVolumeManager
主机命名规则:
服务器:
第一台V490:
web-db1;第二台V490:
web-db2
Suncluster+oracle安装规划(如表K-1所示):
表K-1
操作系统
SunSolaris1005/08
集群软件
SunCluster3.1
卷管理软件
SolarisVolumeManager
数据库软件
Oracle9.2.1.0
节点1
172.16.99.4
节点2
172.16.99.5
浮动IP地址
172.16.99.66
子网掩码
255.255.255.0
网关
172.16.99.254
IPMP测试IP地址
172.16.99.21web-db1-ce0-test
172.16.99.22web-db1-ce1-test
172.16.99.23web-db2-ce0-test
172.16.99.24web-db2-ce1-test
节点1对应的主机名
web-db1
节点2对应的主机名
web-db2
Cluster名称
fzpu-cluster
系统用户
oracle(dba组)
浮动IP对应的主机名
web-db
一服务器V490的安装:
1.安装前的规划
每台服务器配有两个146G的硬盘做raid1,其中web-db1有16G内存做主节点,web-db2有8G
内存。
系统安装好之后,两个节点的分区一致,避免出现不可预料的情况。
按图1的连接方式,使web-db1和web-db2同时连接6140,确保两台主机都能找到Stortek6140内的硬盘。
图1:
2.操作系统安装
1)操作系统:
Solaris10
注意:
在安装操作系统的过程中千万要注意两台主机都不要接存储,不然的话两台主机的系统盘和Stortek6140的Target号会不一致,会对以后的安装产生影响。
2)安装操作系统EIS补丁
详细步骤
3)按照以下的规划安装操作系统web-db1与web-db2相同(表K-2):
由于要安装SC3.1+svm,请预留系统盘的第5分区空间1G,用来建立/globaldevices,第七分区空间512MB用来放置metadb信息
注:
/globaldevices-创建一个512兆字节的文件系统供scinstall实用程序针对全局设备使用。
(分片7)meta分区用于存放卷管理器的状态数据库副本在磁盘的最后一个分片
上创建一个20兆字节的分区供卷管理器使用。
如果群集使用VERITASVolumeManager(VxVM)并且您要封装根磁盘,则需要有两个未使用的盘片以供VxVM使用。
表K-2
分区号
分区名
分区大小
说明
0
/
91325MB
为分片1至7分配空间后磁盘中剩余的空闲空间。
可供Solaris
OS、SunCluster软件、数据服务软件、卷管理器软件、Sun
ManagementCenter代理和SunCluster模块代理软件包、根文件
系统以及数据库和应用程序软件使用。
1
Swap
16G
2
Overlap
139989MB
整个磁盘
3
/var
20G
4
/tmp
10G
5
/globaldevices
1GB
SunCluster软件稍后会给该盘片指定一个不同的装载点并将它装载
为一个群集文件系统。
6
未使用
7
卷管理器
512MB
metadb专用
文件系统和磁盘格式
下列汇总是你当前的文件系统和磁盘格式,基于你所提供的信息.
注意:
如果你选择用户化,则你应该了解文件系统,
它们在磁盘上的期望目的以及如何改变它们可能会影响系统的操作.
文件系统/安装点硬盘/分片大小
========================================================================
/c1t1d0s091325MB
swapc1t1d0s116386MB
overlapc1t1d0s2139989MB
/varc1t1d0s320481MB
/tmpc1t1d0s410245MB
/globaldevicesc1t1d0s51033MB
c1t1d0s7516MB
4)设置OBP变量local-mac-address为true,
在OBP下:
setenvlocal-mac-address?
true
或在Solaris下:
eepromlocal-mac-address?
=true
注:
(此选项为solaris多路径必须满足的条件,local-mac-address?
变量必须使用Ethernet适配器的默认值true。
对于以太网适配器,SunCluster软件不支持local-mac-address?
的值为false。
此要求与SunCluster3.0不同,SunCluster3.0要求local-mac-address?
的值为false。
)
5)配置/etc/hosts,输入所有cluster节点和逻辑主机IP记录:
在两台主机上配置好 IPMP
连接两条ce口私网线
配置IPMP
web-db1的/etc/hosts信息
#
#Internethosttable
#
:
:
1localhost
127.0.0.1localhost
172.16.99.4web-db1loghostweb-
172.16.99.5web-db2
#IPMPtestaddress
172.16.99.21web-db1-ce0-test
172.16.99.22web-db1-ce1-test
#logicaddress
172.16.99.66web-db(全局逻辑地址)
web-db1的/etc/hostname.ce0信息
web-db1netmask+broadcast+groupipmp0up
addifweb-db1-ce0-testnetmask+broadcast+deprecated-failoverup
web-db1的/etc/hostname.ce1信息
web-db1-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup
web-db2的/etc/hosts信息
root@web-db2#cat/etc/hosts
#
#Internethosttable
#
:
:
1localhost
127.0.0.1localhost
172.16.99.5web-db2loghostweb-
172.16.99.4web-db1
#IPMPtestaddress
172.16.99.23web-db2-ce0-test
172.16.99.24web-db2-ce1-test
#logicaddress
172.16.99.66web-db(全局逻辑地址)
web-db2的/etc/hostname.ce0信息
web-db2netmask+broadcast+groupipmp0up
addifweb-db2-ce0-testnetmask+broadcast+deprecated-failoverup
web-db2的/etc/hostname.ce1信息
web-db2-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup
以下在两机上完成
6)修改文件/etc/defaultrouter,设置缺省路由
vi/etc/defaultrouter
172.16.99.254
7)修改文件/etc/system,加入以下3行:
exclude:
lofs
setce:
ce_taskq_disable=1
二.Stortek6140安装识别
.1配置StorEdge6140:
详细配置
注:
StorEdge6140共有10块146GFC硬盘,其中8个硬盘做RAID5,剩下的2个做hotspare盘。
由于suncluster需要一个quorum盘,Oracle需使用raw做文件系统,所以划分了三个partion。
Quorum分区1024MB即可。
让系统重新扫描硬件设备
root@web-db1#reboot---r
运行cfgadm –al 可以看见系统已经注册了控制器,只需启用多路径mpxio即可。
root@web-db1#cfgadm-al
Ap_IdTypeReceptacleOccupantCondition
c0scsi-busconnectedconfiguredunknown
c0:
:
dsk/c0t0d0CD-ROMconnectedconfiguredunknown
c1fc-privateconnectedconfiguredunknown
c1:
:
5000cca00432dcc9diskconnectedconfiguredunknown
c1:
:
5000cca00432dce1diskconnectedconfiguredunknown
c2fc-privateconnectedconfiguredunknown
c2:
:
200400a0b82aaf01diskconnectedconfiguredunknown
c3fc-privateconnectedconfiguredunknown
c3:
:
200500a0b82aaf01diskconnectedconfiguredunknown
usb0/1usb-mouseconnectedconfiguredok
usb0/2usb-deviceconnectedconfiguredok
usb0/3unknownemptyunconfiguredok
usb0/4unknownemptyunconfiguredok
root@web-db1#ls-l/dev/fc
总数6
lrwxrwxrwx1rootroot5112月1日12:
55fp0->../../devices/pci@8,600000/SUNW,qlc@1/fp@0,0:
devctl
lrwxrwxrwx1rootroot5112月1日12:
55fp1->../../devices/pci@8,600000/SUNW,qlc@2/fp@0,0:
devctl
lrwxrwxrwx1rootroot5112月1日12:
55fp2->../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:
devctl
注:
(fp0,fp1为HBA卡上的光纤通道,fp2为本地的光线通道
fp0,fp1开启多路径,fp2关闭多路径)
root@web-db1#vi/kernel/drv/fp.conf
添加如下语句。
注释掉
#mpxio-disable="yes";
parent="/pci@8,600000/SUNW,qlc@1"port=0mpxio-disable="no";name="fp"
parent="/pci@8,600000/SUNW,qlc@2"port=0mpxio-disable="no";name="fp"
//fp0,fp1开启多路径
parent="/pci@9,600000/SUNW,qlc@2"port=0mpxio-disable="yes";name="fp"
//fp2关闭多路径
注:
(多路径软件用于管理指向共享群集存储设备的多个I/O路径。
对于Solaris8或Solaris9操作系统,安装并配置SunStorEdgeTrafficManager软对于Solaris10操作系统,启用Solaris多路径功能,此功能作为Solaris10软件的一部分已被默认安装。
以上表明在HBA卡FC接口上启用mpxio,而不是全局启用。
这样正常阵列设备识别的磁盘号就为长串字符,而本地磁盘识别的磁盘号为正常的cxtxsx,因为只是在FC口局部启用的多路径,而本地禁用多路径)
root@web-db1#stmsboot–u
WARNING:
Thisoperationwillrequireareboot.
Doyouwanttocontinue?
[y/n](default:
y)y
Thechangeswillcomeintoeffectafterrebootingthesystem.
Rebootthesystemnow?
[y/n](default:
y)y
在web-server2上执行相同的步骤
可以看见盘阵已经变成multipath-devices
root@web-db1#format
Searchingfordisks...done
AVAILABLEDISKSELECTIONS:
0.c1t0d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dcc9,0
1.c1t1d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,0
2.c4t600A0B80002A2B320000066F492B138Dd0
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3.c4t600A0B80002AAF00000007BF492B135Cd0
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4.c4t600A0B80002AAF00000007C5492B13D6d0
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6
Specifydisk(enteritsnumber):
root@web-db2#format
Searchingfordisks...done
AVAILABLEDISKSELECTIONS:
0.c1t0d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d59a1,0
1.c1t1d0
/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d0ef5,0
2.c4t600A0B80002A2B320000066F492B138Dd0
/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d
3.c4t600A0B80002AAF00000007BF492B135Cd0
/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c
4.c4t600A0B80002AAF00000007C5492B13D6d0
/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6
三.Cluster软件安装配置
1.Sun软件的安装
双机软件采用sun公司的suncluster3.1,此软件已经集成到JES(JavaEnterpriseSystem)软件包中。
cd/var/spool/stage/JES_05Q4/Solaris_sparc
可通过运行以下命令进行安装:
GUImode:
./installer
CLImode:
./installer-nodisplay
2.SunCluster环境配置
两个节点通讯用
root@web-db1#vi.rhosts
+
root@web-db1#vi/etc/hosts.equiv
web-db1
web-db2
web-db
3,打EIS补丁
软件安装完毕之后,也需要打补丁。
不过suncluster安装完毕之后,系统默认已经启动服务,安装补丁之前需停用suncluster服务。
(两个节点上做)
安装完毕后,执行
reboot---x
重启之后不进入suncluster环境
安装SC3.1的patches;
root@web-db1#lofiadm-a/opt/iso/eis-dvd.iso/dev/lofi/1
root@web-db1#lofiadm
BlockDeviceFile
/dev/lofi/1/opt/iso/eis-dvd.iso
root@web-db1#mount-F/dev/lofi/1/mnt/iso/
root@web-db1#mount-Fhsfs/dev/lofi/1/mnt/iso/
root@web-db1#cd/mnt/iso/sun/install
root@web-db1#./setup-standard.sh
init6重启系统。
root@web-db1#unpack-patches
注:
(进入cluster补丁包的目录,用这个命令一次打EIS补丁集)
然后执行命令init6重启系统。
在web-db2上执行以上相同的步骤
4.Scintall配置
配置主节点web-db1
具体内容摘录:
root@web-db1#scinstall
***主菜单***
请选择以下某一带(*)的选项:
*1)安装群集或群集节点
2)将群集配置为从此安装服务器中快速启动
3)在此群集节点中添加对新数据服务的支持
4)升级此群集节点
5)打印此群集节点的发行信息
*?
)菜单选项中的帮助
*q)退出
选项:
1
***安装菜单***
请选择以下任一选项:
1)安装新群集的所有节点
2)只将此机器安装为新群集的第一个节点
3)将此机器添加为现有群集中的节点
?
)菜单选项中的帮助
q)返回主菜单
选项:
2
***只安装新群集的第一个节点***
此选项用于建立新的群集,该群集使用此机器作为其第一个节点。
安装群集框架软件之后,系统将要求您输入群集的名称。
然后,您可以运行
sccheck(1M)来测试此机器是否满足SunCluster预配置的基本要求。
sccheck(1M)通过后,系统将要求您输入最初将加入该群集的其他节点的名称
。
除非此群集为单节点群集,否则系统还将要求您输入某些群集传输配置信息
。
可以随时按Control-d组合键返回主菜单。
是否要继续(yes/no)[yes]?
y
>>>安装类型<<<
进行群集安装时可以选择两种安装类型。
对于大多数群集,建议使用“典型”
安装。
但是,如果不是所有的“典型”缺省值都适用于您的群集,可能需要选
择“定制”选项。
有关“典型”安装和“定制”安装这两种方法之间的差别的详细信息,
请从菜单中选择“帮助”选项。
请选择以下某一选项:
1)典型
2)定制
?
)帮助
q)返回主菜单
选项:
[1]2
注:
(选择定制安装,因为在其后将配制用于集群成员间通信的专用网络地址,cluster给出的地址为172.16.0.0/16与我们现有的IP地址重复,要将它改为屏蔽的专用子网例如10.10.0.0