GPFS配置手册.docx
《GPFS配置手册.docx》由会员分享，可在线阅读，更多相关《GPFS配置手册.docx（24页珍藏版）》请在冰豆网上搜索。
GPFS配置手册
江西省农信社GPFS安装手册
V1.0
1.江西省农信社GPFS规划
1.1江西省农信社GPFS集群规划
IP地址
节点名
操作系统
集群角色
10.0.147.98
AIX7100-02-02-1316
Quorum-manager
10.0.147.97
AIX7100-02-02-1316
Quorum-manager
10.0.147.49
Redhat6.4forPower
client
10.0.147.50
Redhat6.4forPower
client
10.0.147.51
Redhat6.4forPower
client
10.0.147.52
Redhat6.4forPower
client
10.0.147.53
Redhat6.4forPower
client
10.0.147.54
Redhat6.4forPower
client
10.0.147.55
Redhat6.4forPower
client
10.0.147.56
Redhat6.4forPower
client
10.0.147.57
Redhat6.4forPower
client
10.0.147.58
Redhat6.4forPower
client
10.0.147.59
Redhat6.4forPower
client
10.0.147.60
Redhat6.4forPower
client
10.0.147.61
Redhat6.4forPower
client
10.0.147.62
Redhat6.4forPower
client
10.0.147.63
Redhat6.4forPower
client
10.0.147.64
Redhat6.4forPower
client
10.0.147.65
Redhat6.4forPower
client
10.0.147.66
Redhat6.4forPower
client
10.0.147.67
Redhat6.4forPower
client
10.0.147.68
Redhat6.4forPower
client
10.0.147.69
Redhat6.4forPower
client
10.0.147.70
Redhat6.4forPower
client
10.0.147.71
Redhat6.4forPower
client
10.0.147.72
Redhat6.4forPower
client
10.0.147.73
Redhat6.4forPower
client
10.0.147.74
Redhat6.4forPower
client
10.0.147.75
Redhat6.4forPower
client
10.0.147.76
Redhat6.4forPower
client
10.0.147.77
Redhat6.4forPower
client
10.0.147.78
Redhat6.4forPower
client
10.0.147.79
Redhat6.4forPower
client
10.0.147.80
Redhat6.4forPower
client
10.0.147.81
Redhat6.4forPower
client
10.0.147.82
Redhat6.4forPower
client
10.0.147.83
Redhat6.4forPower
client
10.0.147.84
Redhat6.4forPower
client
10.0.147.85
Redhat6.4forPower
client
10.0.147.86
Redhat6.4forPower
client
10.0.147.87
Redhat6.4forPower
client
10.0.147.88
Redhat6.4forPower
client
10.0.147.89
Redhat6.4forPower
client
10.0.147.90
Redhat6.4forPower
client
10.0.147.91
Redhat6.4forPower
client
10.0.147.92
Redhat6.4forPower
client
10.0.147.93
Redhat6.4forPower
client
10.0.147.94
Redhat6.4forPower
client
10.0.147.95
Redhat6.4forPower
client
10.0.147.96
Redhat6.4forPower
client
1.2集群Quorum方式
集群Quorum方式采用NodeQuorum+Tiebreakerdisks,两个AIX节点加上一块专用的SAN磁盘,目前只有一个AIX节点,第二个AIX节点和SAN磁盘需要后续添加。
1.3NSD磁盘组成
PV_NAME
SIZE
NSD_NAME
FS_NAME
NSDSERVERSLIST
hdisk2
500Gb
jxrccb_nsd1
gpfs
hdisk3
500Gb
jxrccb_nsd2
gpfs
1.4文件系统基本信息
1.5GPFS系统环境示意图
GPFSServer:
2个AIX分区连接V7000
SANStorage:
SVC
GPFSClient:
48个PowerLinux分区
GPFS管理网络:
千兆交换机
2.GPFS安装前准备
2.1安装介质及补丁准备
安装包:
GPFSv3.5.0.0
补丁：
GPFS-3.5.0.11
2.2Openssl及Openssh
确认AIX上openssl及openssh是否已安装,Linux默认已经安装;
lslpp-l|grepopen
2.3Linux节点安装ksh
#rpm-ivhksh-20100621-19.el6.ppc64.rpm
2.4Linux节点修改网络参数
修改/etc/sysctl.conf文件,需修改的网络参数如下:
#increaseLinuxTCPbufferlimits
net.core.rmem_max=8388608
net.core.wmem_max=8388608
#increasedefaultandmaximumLinuxTCPbuffersizes
net.ipv4.tcp_rmem=40962621448388608
net.ipv4.tcp_wmem=40962621448388608
#increasemaxbacklogtoavoiddroppedpackets
dev_max_backlog=2500
修改完毕后执行sysctl-p/etc/sysctl.conf让配置生效
3.GPFS安装配置
3.1配置ssh信任关系
⏹在节点上生成并配置ssh密钥对
#ssh-keygen-trsa
#cd.ssh
#ls
id_rsaid_rsa.pub
#catid_rsa.pub>authorized_keys
#chmod600authorized_keys
#echo"StrictHostKeyCheckingno">config
#chmod600config
⏹修改各节点的/etc/hosts文件,加入对集群中各节点的别名和ip地址
10.0.147.49
10.0.147.50
10.0.147.51
10.0.147.52
10.0.147.53
10.0.147.54
10.0.147.55
10.0.147.56
10.0.147.57
10.0.147.58
10.0.147.59
10.0.147.60
10.0.147.61
10.0.147.62
10.0.147.63
10.0.147.64
10.0.147.65
10.0.147.66
10.0.147.67
10.0.147.68
10.0.147.69
10.0.147.70
10.0.147.71
10.0.147.72
10.0.147.73
10.0.147.74
10.0.147.75
10.0.147.76
10.0.147.77
10.0.147.78
10.0.147.79
10.0.147.80
10.0.147.81
10.0.147.82
10.0.147.83
10.0.147.84
10.0.147.85
10.0.147.86
10.0.147.87
10.0.147.88
10.0.147.89
10.0.147.90
10.0.147.91
10.0.147.92
10.0.147.93
10.0.147.94
10.0.147.95
10.0.147.96
10.0.147.97
10.0.147.98
⏹验证本机无需密码的ssh登录
#ssh`hostname`
⏹将.ssh目录复制到其他各节点
#scp-r/.ssh:
/root/
#scp-r/.ssh:
/root/
#scp-r/.ssh:
/root/
…
#scp-r/.ssh:
/root/
验证各节点间无密码的ssh登录
3.2AIX安装GPFS软件
1）gpfs3.5.0安装包放在/home/gpfsaix/iso目录下
2）切换/home/gpfsaix/iso目录下,通过smittyinstallp安装GPFS软件
3）安装补丁
gpfs3.5版本，需要升级到3.5.0.11以上，补丁下载地址：
下载后上传到服务器后解压：
gzip-d-cfilename.tar.gz|tar-xvf-
使用smittyupdate_all安装补丁
4）安装后检查
#lslpp-l|grepgpfs
如果之前已经创建了cluster，在所有node都down的状态下，加载GPFS版本到最新版本：
mmchconfigrelease=LATEST;如果是新装的GPFS,则可以忽略此步。
3.3Linux安装GPFS软件
1）上传安装介质
安装文件位于/home/gpfsrpm/，补丁文件位于/home/gpfsrpm/updte；
2）安装GPFS软件
在安装介质所在目录下执行：
#rpm-ivhgpfs*.rpm
3）升级GPFS软件版本
在补丁文件所在目录下执行：
#rpm-Uvhgpfs*.rpm
4）检查安装结果
#rpm-qa|grepgpfs
5）BuildingtheGPFSportabilitylayer
#cd/usr/lpp/mmfs/src
#makeAutoconfig
#makeWorld
#makeInstallImages
3.4GPFS集群配置
⏹修改系统环境变量
AIX平台下修改/etc/environment在PATH后增加/usr/lpp/mmfs/bin
#vi/etc/environment
Linux平台下修改/root/.bashprofile,在PATH后增加/usr/lpp/mmfs/bin
⏹创建集群
按照规划，本次集群中包含1个AIX节点和48个Linuxclient；首先在1个AIX节点平台创建GPFS集群
创建集群定义文件
#cd/home
#mkdirgpfs
#cdgpfs
#vijxrcc_cluster
10.0.147.98:
quorum-manager
a）创建GPFS集群
#mmcrcluster–Njxrccb_cluster–p10.0.147.98-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster–A
#mmcrcluster-Njxrccb_cluster-p10.0.147.98-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster-A
Warning:
Permanentlyadded''（RSA）tothelistofknownhosts.
TueNov1920:
01:
38CST2013:
6027-1664mmcrcluster:
Processingnode
mmcrcluster:
Commandsuccessfullycompleted
mmcrcluster:
6027-1254Warning:
NotallnodeshaveproperGPFSlicensedesignations.
Usethemmchlicensecommandtodesignatelicensesasneeded.
b）配置许可
#mmchlicenseserver--accept-N10.0.147.98
#mmchlicenseserver--accept-N10.0.147.98
ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:
mmchlicense:
Commandsuccessfullycompleted
c）添加Linux节点
通过如下命令依次添加48个Linux节点：
#mmaddnode–N
#mmchlicenseserver--accept-N
…
#mmaddnode–N
#mmchlicenseserver--accept-N
查看集群状态
#mmlscluster
d）修改集群参数
#mmchconfigprefetchThreads=1000–N10.0.147.98
#mmchconfigpagepool=4G–N10.0.147.98
#mmchconfigfailureDetectionTime=15
#mmchconfigMaxMBps=4096
e）启动集群
#mmstartup-a
启动后，查看集群状态
#mmgetstate-a
确保所有节点的状态为Active
⏹创建NSD磁盘
a）修改fscsi参数
在所有直接访问SAN盘的节点上执行
#lsdev|grepfscsi|awk'{print"chdev-l",$1,"-adyntrk=yes-afc_err_recov=fast_fail"}'|sh
b）识别外置存储磁盘
在所有直接访问SAN盘的节点上执行
#cfgmgr
c）修改hdisk参数
在所有直接访问SAN盘的节点上执行
#lsdev-Ccdisk|grepMPIO|awk'{print"chdev-l",$1,"-aalgorithm=round_robin-aqueue_depth=8-areserve_policy=no_reserve"}'|sh
d）创建NSD描述文件
#cd/gpfs
#vinsd.conf
hdisk2:
10.0.147.98:
:
:
:
jxrccb_nsd1:
hdisk3:
10.0.147.98:
:
:
:
jxrccb_nsd2:
备注
文件格式：
DiskName:
ServerList:
:
DiskUsage:
FailureGroup:
DesiredName:
StoragePool
在本集群中，将AIX节点定义为NSDServer，如果NSD较多可以将每块盘的首选NSDServer设置为不同，以均衡NSDSever的负载；
e）生成NSD盘
#mmcrnsd-Fnsd.conf
f）查看NSD盘
#mmlsnsd
#mmlsnsd
FilesystemDisknameNSDservers
-------------------------------------------------
升级会员 