GPFS配置手册.docx
《GPFS配置手册.docx》由会员分享，可在线阅读，更多相关《GPFS配置手册.docx（21页珍藏版）》请在冰豆网上搜索。
GPFS配置手册
江西省农信社GPFS安装手册
1.江西省农信社GPFS规划
1.1江西省农信社GPFS集群规划
IP地址
节点名
操作系统
集群角色
76
Quorum-manager
76
Quorum-manager
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
forPower
client
1.2集群Quorum方式
集群Quorum方式采用NodeQuorum+Tiebreakerdisks,两个AIX节点加上一块专用的SAN磁盘,目前只有一个AIX节点,第二个AIX节点和SAN磁盘需要后续添加。
1.3NSD磁盘组成
PV_NAME
SIZE
NSD_NAME
FS_NAME
NSDSERVERSLIST
hdisk2
500Gb
jxrccb_nsd1
gpfs
1.4
文件系统基本信息
1.5GPFS系统环境示意图
GPFSServer:
2个AIX分区连接V7000
SANStorage:
SVC
GPFSClient:
48个PowerLinux分区
GPFS管理网络:
千兆交换机
2.GPFS安装前准备
2.1安装介质及补丁准备
安装包:
GPFS3.5.0
补丁：
GPFS-
2.2Openssl及Openssh
确认AIX上openssl及openssh是否已安装,Linux默认已经安装;
lslpp-l|grepopen
2.3Linux节点安装ksh
2.4#rpm-ivh
节点修改网络参数
修改/etc/文件,需修改的网络参数如下:
#increaseLinuxTCPbufferlimits
=8388608
=8388608
#increasedefaultandmaximumLinuxTCPbuffersizes
=40962621448388608
=40962621448388608
#increasemaxbacklogtoavoiddroppedpackets
=2500
修改完毕后执行sysctl-p/etc/让配置生效
3.GPFS安装配置
3.1配置ssh信任关系
在节点上生成并配置ssh密钥对
#ssh-keygen-trsa
#cd.ssh
#ls
id_rsa
#cat>authorized_keys
#chmod600authorized_keys
#echo"StrictHostKeyCheckingno">config
#chmod600config
修改各节点的/etc/hosts文件,加入对集群中各节点的别名和ip地址
验证本机无需密码的ssh登录
#ssh`hostname`
将.ssh目录复制到其他各节点
#scp-r/.ssh-r/.ssh
#scp-r/.ssh…
#scp-r/.ssh验证各节点间无密码的ssh登录
3.2AIX安装GPFS软件
1）安装包放在/home/gpfsaix/iso目录下
2）切换/home/gpfsaix/iso目录下,通过smittyinstallp安装GPFS软件
3）安装补丁
版本，需要升级到以上，补丁下载地址：
&product=ibm/power/IBM+General+Parallel+File+System&release=&platform=AIX&function=all
下载后上传到服务器后解压：
gzip-d-c|tar-xvf-
使用smittyupdate_all安装补丁
4）安装后检查
#lslpp-l|grepgpfs
如果之前已经创建了cluster，在所有node都down的状态下，加载GPFS版本到最新版本：
mmchconfigrelease=LATEST;如果是新装的GPFS,则可以忽略此步。
3.3Linux安装GPFS软件
1）上传安装介质
安装文件位于/home/gpfsrpm/，补丁文件位于/home/gpfsrpm/updte；
2）安装GPFS软件
在安装介质所在目录下执行：
#rpm-ivhgpfs*.rpm
3）升级GPFS软件版本
在补丁文件所在目录下执行：
#rpm-Uvhgpfs*.rpm
4）检查安装结果
#rpm-qa|grepgpfs
5）BuildingtheGPFSportabilitylayer
#cd/usr/lpp/mmfs/src
#makeAutoconfig
#makeWorld
#makeInstallImages
3.4GPFS集群配置
修改系统环境变量
AIX平台下修改/etc/environment在PATH后增加/usr/lpp/mmfs/bin
#vi/etc/environment
Linux平台下修改/root/.bashprofile,在PATH后增加/usr/lpp/mmfs/bin
创建集群
按照规划，本次集群中包含1个AIX节点和48个Linuxclient；首先在1个AIX节点平台创建GPFS集群
创建集群定义文件
#cd/home
#mkdirgpfs
#cdgpfs
#vijxrcc_cluster
:
quorum-manager
a）创建GPFS集群
#mmcrcluster–Njxrccb_cluster–p-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster–A
#mmcrcluster-Njxrccb_cluster-p-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster-A
Warning:
Permanentlyadded''（RSA）tothelistofknownhosts.
TueNov1920:
01:
38CST2013:
6027-1664mmcrcluster:
ProcessingnodeCommandsuccessfullycompleted
mmcrcluster:
6027-1254Warning:
NotallnodeshaveproperGPFSlicensedesignations.
Usethemmchlicensecommandtodesignatelicensesasneeded.
b）配置许可
#mmchlicenseserver--accept-N
#mmchlicenseserver--accept-N
ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:
Commandsuccessfullycompleted
c）添加Linux节点
通过如下命令依次添加48个Linux节点：
#mmaddnode–Nmmchlicenseserver--accept-N…
#mmaddnode–Nmmchlicenseserver--accept-N查看集群状态
#mmlscluster
d）修改集群参数
#mmchconfigprefetchThreads=1000–N
#mmchconfigpagepool=4G–N
#mmchconfigfailureDetectionTime=15
#mmchconfigMaxMBps=4096
e）启动集群
#mmstartup-a
启动后，查看集群状态
#mmgetstate-a
确保所有节点的状态为Active
创建NSD磁盘
a）修改fscsi参数
在所有直接访问SAN盘的节点上执行
#lsdev|grepfscsi|awk'{print"chdev-l",$1,"-adyntrk=yes-afc_err_recov=fast_fail"}'|sh
b）识别外置存储磁盘
在所有直接访问SAN盘的节点上执行
#cfgmgr
c）修改hdisk参数
在所有直接访问SAN盘的节点上执行
#lsdev-Ccdisk|grepMPIO|awk'{print"chdev-l",$1,"-aalgorithm=round_robin-aqueue_depth=8-areserve_policy=no_reserve"}'|sh
d）创建NSD描述文件
#cd/gpfs
#vi
hdisk2:
:
:
:
:
jxrccb_nsd1:
hdisk3:
:
:
:
:
jxrccb_nsd2:
备注
文件格式：
DiskName:
ServerList:
:
DiskUsage:
FailureGroup:
DesiredName:
StoragePool
在本集群中，将AIX节点定义为NSDServer，如果NSD较多可以将每块盘的首选NSDServer设置为不同，以均衡NSDSever的负载；
e）生成NSD盘
#mmcrnsd-F
f）查看NSD盘
#mmlsnsd
#mmlsnsd
FilesystemDisknameNSDservers
---------------------------------------------------------------------------
（freedisk）jxrccb_nsd1
（freedisk）jxrccb_nsd2
定义Tiebreakerdisks
集群处于Down状态时才能定义；
#mmshutdown-a
#mmchconfigtiebreakerDisks=""
定义后可用如下命令查看；
#mmlsconfig
创建GPFS文件系统
#mmcrfsgpfs-F-Ayes-B512K-T/gpfs
#mmcrfsgpfs-F-Ayes-B512K-T/gpfs
GPFS:
6027-531ThefollowingdisksofgpfswillbeformattedonnodeABSGPFS1:
jxrccb_nsd1:
size2KB
jxrccb_nsd2:
size2KB
GPFS:
6027-540Formattingfilesystem...
GPFS:
6027-535DisksuptosizeTBcanbeaddedtostoragepoolsystem.
CreatingInodeFile
CreatingAllocationMaps
CreatingLogFiles
ClearingInodeAllocationMap
ClearingBlockAllocationMap
FormattingAllocationMapforstoragepoolsystem
GPFS:
6027-572Completedcreationoffilesystem/dev/gpfs.
mmcrfs:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
通过mmlsconfig或mmlsfsall命令可以看到所创建的文件系统
#mmlsconfig
挂载集群文件系统
#mmmountall-a
挂载后查看集群文件系统的mount状态
#mmlsmountall
Filesystemgpfsismountedon49nodes.
修改文件系统inode最大值
#mmchfsgpfs--inode-limit
修改挂载文件系统的最大节点数
#mmchfsgpfs–n=128
查看文件系统的属性
#mmlsfsall
GPFS文件系统支持的最大inode数，可根据如下公式进行计算：
maximumnumberoffiles=（totalfilesystemspace）/（inodesize+subblocksize）
备注:
subblocksize是创建文件系统时所指定Blocksize的1/32；
例如：
按文件系统400G，inodesize为512bytes，Blocksize为512k来计算
maximumnumberoffiles=（600*1024*1024*1024）/（512+524288/32）=
4.GPFS日常维护
4.1GPFS启动
启动所有的节点：
mmstartup–a
启动单个节点：
例如启动节点
4.2mmstartup–N停止
GPFS停止步骤：
umount挂载的FS?
停止所有的node
umount挂载的FS：
umount所有节点
mmumount–a
umount某一个节点：
mmumountfsname–Ngpfswas2
停止所有的节点：
mmshutdown–a
停止某一个节点：
mmshutdown–Ngpfswas2
4.3查看GPFS使用状况
mmdfgpfs
升级会员 