GPFS安装测试记录.docx
《GPFS安装测试记录.docx》由会员分享，可在线阅读，更多相关《GPFS安装测试记录.docx（24页珍藏版）》请在冰豆网上搜索。
GPFS安装测试记录
******
GPFS安装测试记录
思创数码科技股份有限公司
二零零九年十月
********GPFS安装测试小结
1.硬件结构配置：
本文主要描述基于双DS4800存储、双P570小机的GPFS的集群。
下文所涉及的全部参数设置和配置步骤源于IBM红皮书《DeployingOracle10gRAConAIXV5withGPFS》
节点
使用双IBMP570小机，硬件配置8CPU、32G内存。
存储
使用双IBMDS4800存储，存储A（DS4800A）分配数据磁盘、仲裁磁盘个两块、存储B（DS4800B）分配两块数据磁盘一块仲裁磁盘。
网络
每节点分别连接到公网和私网，私网用于RAC内部通讯和GPFS数据传输，公网用于实际对外应用接口。
下图是安装测试的基本环境图示。
2.操作系统配置：
Ø系统包安装要求
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
pat.clients.rte
xlC.aix50.rte7.0.0.4or8.xxx
xlC.rte7.0.0.1or8.xxx
bos.adt.profa
bos.cifs_fs
（注：
由于没有GPFSforaix6.0的官方说明，上面提出的系统包是针对AIXV5.3系统的，但经过验证GPFSforaix6.0也同样适用）
Ø主机信任关系
ORACLERAC和GPFS集群都要求配置SSH或RSH,本文将采用RSH信任方式。
编辑或修改以下文件：
_/etc/hosts
_/etc/hosts.equiv
_Oracle或root用户的~/.rhosts文件
文件内容大致如下：
---------/etc/hosts--------
#Publicnetwork
10.158.116.140ncst01
10.158.116.141ncst02
#GPFSinterconnectnetwork
192.168.100.1ncst01-gpfs
192.168.100.2ncst02-gpfs
/etc/hosts.equiv和~/.rhosts文件内容
ncst01
ncst02
ncst01-gpfs
ncst02-gpfs
3.GPFS安装配置：
IBM的GPFS文件系统提供并行和串行应用。
GPFS允许应用程序同时访问同一文件或不同的文件。
在本次安装配置中，我们只配置一个GPFS文件系统。
Ø使用SMITTYINSTALLP安装如下文件：
gpfs.base3.2.1.5COMMITTEDGPFSFileManager
gpfs.msg.en_US3.2.1.5COMMITTEDGPFSServerMessages-U.S.English
gpfs.base3.2.1.5COMMITTEDGPFSFileManagerPath:
/usr/share/lib/objrepos
gpfs.docs.data3.2.1.5COMMITTEDGPFSServerManpagesandDocumentation
Ø手工创建以下三个文件并添加相关内容：
创建/etc/gpfs_config目录
1．/etc/gpfs_disks_oradata
hdisk2:
ncst01-gpfs:
ncst02-gpfs:
dataAndMetadata:
1:
nsdcopy_a1
hdisk3:
ncst01-gpfs:
ncst02-gpfs:
dataAndMetadata:
1:
nsdcopy_a2
hdisk16:
ncst02-gpfs:
ncst01-gpfs:
dataAndMetadata:
2:
nsdcopy_b1
hdisk17:
ncst02-gpfs:
ncst01-gpfs:
dataAndMetadata:
2:
nsdcopy_b2
相关语法如下：
DiskName:
PrimaryNSDServer:
BackupNSDServer:
DiskUsage:
FailureGroup:
DesiredName:
StoragePool
2．/etc/gpfs_disks_tb
hdisk9:
:
:
:
:
nsd_tb1
hdisk10:
:
:
:
:
nsd_tb2
hdisk24:
:
:
:
:
nsd_tb3
3．/etc/gpfs_nodes
ncst01-gpfs:
quorum-manager
ncst02-gpfs:
quorum-manager
Ø创建GPFS集群
使用mmcrcluster创建GPFS集群，并且指定如下参数设置。
mmcrcluster-N/etc/gpfs_nodes-pncst01-gpfs-sncst02-gpfs-Cncst_cluster–A
（-NNodeFile:
-pPrimaryServer:
-sSecondaryServer:
-CClusterName:
-AGPFS服务自动启动）
Ø查看GPFS集群信息
――――――――――――――――――――――――――――――――――――――
root@ncst01:
/etc/gpfs_config>mmlscluster
GPFSclusterinformation
========================
GPFSclustername:
ncst_cluster.ncst01-gpfs
GPFSclusterid:
720967500852369612
GPFSUIDdomain:
ncst_cluster.ncst02-gpfs
Remoteshellcommand:
/usr/bin/rsh
Remotefilecopycommand:
/usr/bin/rcp
GPFSclusterconfigurationservers:
-----------------------------------
Primaryserver:
ncst01-gpfs
Secondaryserver:
ncst02-gpfs
NodeDaemonnodenameIPaddressAdminnodename
Designation
-----------------------------------------------------------------------
1ncst01-gpfs192.168.100.1ncst01-gpfsquorum-manager
2ncst02-gpfs192.168.100.2ncst02-gpfsquorum-manager
―――――――――――――――――――――――――――――――――――――――
Ø创建数据共享磁盘
创建数据共享磁盘
ncst01:
/etc/gpfs_config>mmcrnsd-Fgpfs_disks_oradata
mmcrnsd:
Processingdiskhdisk2
mmcrnsd:
Processingdiskhdisk3
mmcrnsd:
Processingdiskhdisk16
mmcrnsd:
Processingdiskhdisk17
mmcrnsd:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
ncst01:
/etc/gpfs_config>mmcrnsd-Fgpfs_disks_tb
mmcrnsd:
Processingdiskhdisk9
mmcrnsd:
Processingdiskhdisk10
mmcrnsd:
Processingdiskhdisk24
mmcrnsd:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
Ø查看数据共享磁盘信息
使用mmcrnsd命令查看共享磁盘信息，输出大致如下：
ncst01:
/etc/gpfs_config>mmlsnsd
FilesystemDisknamePrimarynodeBackupnode
---------------------------------------------------------------------------
（freedisk）nsdcopy_a1ncst01-gpfsncst02-gpfs
（freedisk）nsdcopy_a2ncst01-gpfsncst02-gpfs
（freedisk）nsdcopy_b1ncst02-gpfsncst01-gpfs
（freedisk）nsdcopy_b2ncst02-gpfsncst01-gpfs
（freedisk）nsd_tb1（directlyattached）
（freedisk）nsd_tb2（directlyattached）
（freedisk）nsd_tb3（directlyattached）
同样可以使用mmlsnsd-a–m命令查看共享磁盘信息，内容输出大致相同。
Ø查看GFPS共享磁盘描述文件
/etc/gpfs_config>catgpfs_disks_oradata
hdisk2:
:
:
dataAndMetadata:
1:
nsdcopy_a1
hdisk3:
:
:
dataAndMetadata:
1:
nsdcopy_a2
hdisk16:
:
:
dataAndMetadata:
2:
nsdcopy_b1
hdisk17:
:
:
dataAndMetadata:
2:
nsdcopy_b2
此文件不可修改，后面还需使用此文件。
Ø改变集群仲裁或添加集群仲裁
mmchconfigtiebreakerDisks="nsd_tb3;nsd_tb4;nsd_tb5"
VerifyingGPFSisstoppedonallnodes...
mmchconfig:
Commandsuccessfullycompleted
mmchconfig:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
在启动GPFS集群服务之前，必须配置仲裁磁盘（事关GPFS服务的正常运行）。
如果想在以后改变集群仲裁配置，必须首先在所有节点上停止GPFS服务。
Ø查看集群配置
root@ncst01:
/etc/gpfs_config>mmlsconfig
Configurationdataforclusterncst_cluster.ncst01-gpfs:
-------------------------------------------------------------------
clusterNamencst_cluster.ncst01-gpfs
clusterId720967500852369612
clusterTypelc
autoloadyes
useDiskLeaseyes
maxFeatureLevelAllowed906
tiebreakerDisksnsd_tb1;nsd_tb2;nsd_tb3
[ncst01-gpfs]
takeOverSdrServyes
Filesystemsinclusterncst_cluster.ncst-gpfs:
------------------------------------------------------------
（none）
Ø启动GPFS集群
root@ncst01:
/etc/gpfs_config>mmstartup-a
WedSep1211:
57:
24CDT2007:
6027-1642mmstartup:
StartingGPFS...
－a参数用于启动所有节点的GPFS集群
Ø创建GPFS文件系统
mmcrfs/gpfsgpfs-Fgpfs_disks_oradata-Ayes-B512k-M2-m2-R2-r2-n10-N500000
CreatingInodeFile
CreatingAllocationMaps
ClearingInodeAllocationMap
ClearingBlockAllocationMap
GPFS:
6027-572Completedcreationoffilesystem/dev/gpfs.
mmcrfs:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
参数描述
/gpfs文件挂载目录
gpfs系统文件创建名称/dev/gpfs
-FDiskdescriptionfile磁盘描述文件
-Ayes服务启动自动挂载
-BBlockSize数据块大小
-mDefaultMetadataReplicas数据目录拷贝份数参数1或2
-RMaxDataReplicasDATA拷贝份数参数1或2
-rDefaultDataReplicas数据块拷贝份数参数1或2
-NNumInodes最大系统文件数
Ø挂载文件系统
root@ncst01:
/etc/gpfs_config>mmmountall-a
WedSep1212:
17:
08CDT2007:
6027-1623mmmount:
Mountingfilesystems...
-a挂载所有GPFS集群成员目录
Ø查看GPFS磁盘使用情况
root@ncst01:
/etc/gpfs_config>mmdfgpfs
diskdisksizefailureholdsholdsfreeKBfreeKB
nameinKBgroupmetadatadatainfullblocksinfragments
----------------------------------------------------------------------------------------
Disksinstoragepool:
system（Maximumdisksizeallowedis2.8TB）
nsdcopy_a12097152001yesyes202811392（97%）1184（0%）
nsdcopy_a22097152001yesyes202812416（97%）1120（0%）
nsdcopy_b12097152002yesyes202812416（97%）880（0%）
nsdcopy_b22097152002yesyes202811392（97%）1424（0%）
----------------------------------------------------
（pooltotal）838860800811247616（97%）4608（0%）
====================================================
（total）838860800811247616（97%）4608（0%）
注：
如上输出需注意nsdcopy_a1的可用大小不一定和nsdcopy_b1相同，这是因为GPFS磁盘组镜像不是以单个磁盘来实现的，而是以组的状态来整体实现的。
及nsdcopy_a1、nsdcopy_a2的可用空间一定和nsdcopy_b1、nsdcopy_b2的可用空间相同。
4.GPFS故障测试
GPFS故障测试分五项进行：
第一项：
磁盘增加测试
Ø首先查看原始磁盘的状态
root@ncst01:
/etc/gpfs_config>mmdfgpfs
diskdisksizefailureholdsholdsfreeKBfreeKB
nameinKBgroupmetadatadatainfullblocksinfragments
----------------------------------------------------------------------------------------
Disksinstoragepool:
system（Maximumdisksizeallowedis2.8TB）
nsdcopy_a12097152001yesyes202811392（97%）1184（0%）
nsdcopy_a22097152001yesyes202812416（97%）1120（0%）
nsdcopy_b12097152002yesyes202812416（97%）880（0%）
nsdcopy_b22097152002yesyes202811392（97%）1424（0%）
----------------------------------------------------
（pooltotal）838860800811247616（97%）4608（0%）
====================================================
（total）838860800811247616（97%）4608（0%）
Ø编辑文件/etc/gpfs_disks_oradata_add添加内容
hdisk4:
ncst01-gpfs:
ncst02-gpfs:
dataAndMetadata:
1:
nsdcopy_a3
hdisk5:
ncst01-gpfs:
ncst02-gpfs:
dataAndMetadata:
1:
nsdcopy_a4
hdisk18:
ncst02-gpfs:
ncst01-gpfs:
dataAndMetadata:
2:
nsdcopy_b3
hdisk19:
ncst02-gpfs:
ncst01-gpfs:
dataAndMetadata:
2:
nsdcopy_b4
Ø创建GPFS共享磁盘
mmcrnsd-Fgpfs_disks_oradata_add
Ø添加共享磁盘
mmadddiskgpfs-Fgpfs_disks_oradata_add–r
Ø查看磁盘添加后的状态
root@ncst01:
/etc/gpfs_config>mmdfgpfs
diskdisksizefailureholdsholdsfreeKBfreeKB
nameinKBgroupmetadatadatainfullblocksinfragments
----------------------------------------------------------------------------------------
Disksinstoragepool:
system（Maximumdisksizeallowedis2.8TB）
nsdcopy_a12097152001yesyes205160448（98%）2672（0%）
nsdcopy_a22097152001yesyes205141504（98%）2000（0%）
nsdcopy_a410485761yesyes1024512（98%）992（0%）
nsdcopy_a32097152001yesyes205051392（98%）2704（0%）
nsdcopy_b22097152002yesyes205102592（98%）3424（0%）
nsdcopy_b12097152002yesyes205075456（98%）2048（0%）
nsdcopy_b32097152002yesyes205180416（98%）864（0%）
nsdcopy_b410485762yesyes1020928（97%）496（0%）
----------------------------------------------------
（pooltotal）12603883521232757248（98%）15200（0%）
====================================================
（total）12603883521232757248（98%）15200（0%）
Ø测试结果
成功添加四块磁盘，并且新添加进去的磁盘在原有磁盘组内部自动进行数据同步
第二项：
ncst01故障测试
将主机ncst01直接关机，查看第二节点（ncst02）/gpfs目录访问是否正常
Ø测试结果
第二节点（ncst02）/gpfs目录访问正常，
查看管理节点
#mmlsmgr
filesystemmanagernode
----------------------------------
gpfs193.168.100.2（ncst02-gpfs）
查看pgfs磁盘组状态
#mmdfgpfs
diskdisksizefailureholdsholdsfreeKBfreeKB
nameinKBgroupmetadatadatainfullblocksinfragments
----------------------------------------------------------------------------------------
Disksinstoragepool:
system（Maximumdisksi
升级会员 