GPFS经常使用命令.docx

GPFS经常使用命令.docx

《GPFS经常使用命令.docx》由会员分享，可在线阅读，更多相关《GPFS经常使用命令.docx（10页珍藏版）》请在冰豆网上搜索。

GPFS经常使用命令

供稿人：

李明军

GPFS是IBM推出的行业领先的并行散布式集群文件系统，从1995年投入商用至今已经有10连年的历史。

GPFS是一个共享磁盘的文件系统，集群内的所有节点能够并行地访问所有共享磁盘，并通过散布式的Token治理机制和条带化技术来治理和优化节点的访问。

GPFS的应用范围超级普遍，从多节点文件共享效劳、实时多媒体处置、到大型的高性能计算集群，咱们都能够看到GPFS的优秀表现。

GPFS也应用在众多的企业应用里面，比如HACMP、OracleRAC、SAP。

GPFS在这些应用里面都表现出了超级超卓的性能和高可用性。

本文向大伙儿介绍GPFS最新版本版本大体概念及其在AIX环境下的安装和大体配置。

1．GPFS的版本历史

1995年:

GPFS前身TigerShark发布，应用于实时媒体处置行业，采纳了数据条带化技术；1998年:

版发布，开始应用于高性能计算领域，并支持标准Posix语义；2002年:

版发布，开始支持Linux，并应用于IBM虚拟带库产品中；2005年:

版发布，开始支持32位/64位互操作性和广域网连接等特性；2006年:

版发布，新增信息生命周期管理和分布式锁管理功能。

除要紧版本发布外，GPFS还有多个不断更新的保护级别（ML）升级包，截至本文发稿时，的当前保护级别（ML）为.12,本文的安装和配置基于该版本。

2．GPFS的大体概念

在安装和配置GPFS之前，需要先了解一下GPFS的一些大体概念和相关术语。

SAN:

那个地址指的是磁盘存储设备通过光纤互换机连接到效劳器的HBA卡，为效劳器提供逻辑存储LUN的模式，在GPFS集群里面，能够通过将同一个LUN同时划分给多台效劳器的方式为GPFS提供共享磁盘。

Disk:

磁盘，指的是LUN在效劳器上识别出的设备，关于单HBA卡LUN,AIX操作系统将其识别为hdisk，在多HBA卡多途径模式下有以下几种:

1）MPIOonAIX=hdisk2）SDD（non-MPIO）onAIX=vpath3）PowerPathbyEMC=hdiskpower4）HDLMbyHitatchi=dlmfdrv

NSD:

是NetworkSharedDisk的缩写，最先应用在GPFS的Linux集群上面。

是GPFS实现的一种通过网络共享磁盘的技术，集群节点能够通过标准以太网访问NSD，使得不需要将集群的所有的节点都连到SAN上，而是基于NSD创建GPFS文件系统。

NSD利用TCP/1191端口。

VSD:

是VirtualSharedDisk的缩写，源自基于IBMSP、Switch二、HPS互换机的共享磁盘技术，VSD依托于RSCT域。

GPFS看待VSD就像效劳器自己的硬盘一样，能够基于VSD来创建NSD。

FileSystem:

文件系统，是物理存储设备和用户之间的接口，其将物理存储设备划分为数据块，并在数据块之上构建数据和元数据的数据结构，达到方便用户（应用程序）对数据操作的目的。

GPFS通过条带花技术将数据并行散布到所有共享磁盘上面，并支持如下数据块大小：

16K,64K,128K,256K,512K,1024K（1M）,2M,4M,其中2M和4M是版新增加支持的数据块大小。

FailureGroups:

失效组，是指依照磁盘的物理特性划分的不同的组，幸免两个不同的失效组在同一个时刻点失效。

Replication:

复制，当GPFS的复制功能启历时，GPFS文件系统的数据和元数据将被保留两个散布在不同的失效组的副本，当其中一个副本不可历时，另一个副本将使文件系统维持可用。

ClusterDataServer:

集群数据效劳器是集群中保留集群配置信息的节点．集群配置信息保留在集群数据效劳器的/var/mmfs/etc/mmsdrfs文件中。

能够配置一个主集群数据效劳器和一个备份集群数据效劳器。

集群启动时需要至少有一个集群数据效劳器可用。

ConfigurationManager:

配置治理器，在GPFS集群里面具有最长持续运行时刻的节点自动被选为配置治理器，配置治理器有两个职能：

1．选择文件系统治理器；2.判定quorum是不是知足。

FileSystemManager:

文件系统治理器，每一个GPFS文件系统被分派一个文件系统治理器，文件系统治理器有3个功能：

1.文件系统配置治理，如增加磁盘，修复文件系统；2.文件系统mount和umount处置。

3.磁盘空间分派治理。

TokenManager:

执行散布式Token治理的功能节点，由集群治理软件依照工作负载情形动态地选择哪些节点、多少节点执行Tokenmanager的功能。

Token用来保护节点间数据的一致性和完整性。

NodeQuorum:

quorum机制决定了至少有多少个quorum节点可历时，集群才能够启动。

Quorum的算法为：

quorum=1+sizeof（quorumnodes）/2。

StoragePool:

存储池，是指一组磁盘设备，能够依照磁盘的性能和其他物理的、价钱的属性分为不同的存储池，从而实现层状的存储架构。

存储池是新增的信息生命周期治理的重要概念。

例如能够将某一SAN里面的光纤磁盘和SATA磁盘分为两个存储池。

Fileset:

文件集，也是版新增的概念，是文件系统的一个子集，粒度介于文件系统和文件（文件夹是一种特殊的文件）之间。

Policy:

规那么，是用类似SQL的结构化语法概念的，能够被GPFS信息生命周期治理规那么引擎说明执行的一组语句。

有文件放置规那么、文件迁移规那么、文件删除规那么等。

例如能够编写一条文件放置规那么，概念某个文件集里面owner为CEO的所有文件寄存在名为FCstoragepool的存储池。

3．软件安装

将的安装文件和.12ML包解紧缩后共有如下几个文件，用ls命令显示如下：

用installp命令或smit安装

查验安装结果：

需要在所有节点上执行上述安装进程。

执行如下命令将GPFS命令行工具所在目录加入shell的执行途径：

exportPATH=$PATH:

/usr/lpp/mmfs/bin

环境介绍

图1例如环境

本文的例如环境如图1所示，共有运行操作系统的4台效劳器，hostname别离是lpar一、lpar二、lpar3、lpar4,其中lpar1和lpar2上各有两个HBA卡通过光纤互换机连接到一台DS4800上面。

DS4800上面划了6个LUN，对lpar1和lpar2都可见，这6个LUN在lpar1和lpar2上识别的设备名都是hdisk五、hdisk六、hdisk7、hdisk八、hdisk九、hdisk10。

lpar3和lpar4没有连接到SAN,通过百兆以太网络与lpar1和lpar2相连。

咱们将用这四台效劳器和存储构建一个4个点的GPFS文件系统/gpfs01,对应设备名gpfs01。

lpar3和lapr4将作为NSD客户端通过以太网连接到集群，lpar1和lpar2作为NSD效劳器为lpar3和lpar4提供到存储设备的IO访问。

在lpar1上显示磁盘设备如以下图所示，咱们将用hdisk5至hdisk10共6块盘构建GPFS文件系统。

预备远程命令执行和远程拷贝环境

GPFS支持rshssh两种远程执行shell和rcp、scp两种远程拷贝工具。

GPFS默许利用rsh和rcp，下文以rsh+rcp作介绍。

第一保证hosts文件里面包括所有集群节点的纪录。

在.rhost文件里面增加所有集群节点的纪录。

[root@lpar1#]cat/.rhostslpar1rootlpar2rootlpar3rootlpar4root[root@lpar1#]

至此，rsh和rcp已能正常工作，能够用rshhostnamecommand来验证配置是不是正确。

预备集群的节点配置文件

[root@lpar1#]cat/tmp/mmfs/nodefile#NodeName:

NodeDesignations:

AdminNodeNamelpar1:

manager-quorumlpar2:

manager-quorumlpar3:

client-nonquorumlpar4:

client-nonquorum[root@lpar1#]

该节点配置文件每一行对应一个集群节点，每一个集群节点有效减号分隔两个配置项。

第一项可选参数为manager和client,manager表示该节点可以被集群治理软件选择作为集群治理功能的节点如TokenManager和ConfigurationManager。

client表示不能被给予上述职能。

quorum和nonquorum表示是不是作为quorum节点。

预备NSD的配置文件

该配置文件每一行对应一个物理的磁盘设备（LUN），各个配置项的意义如下：

Diskname:

是磁盘设备在PrimaryServer上的虚拟设备名称，该名称并非要求在所有节点上相同。

PrimaryServer:

该磁盘的主要NSDIO服务提供节点，即主NSD服务器。

只有在所有节点都直接连接到存储的情况下，该项才可以省略。

在本例中lpar3和lpar4通过lpar1和lpar2访问磁盘，该项为必须项。

BackupServer:

备份的NSDIO服务提供节点，意义同上。

DiskUsage:

共有dataAndMetadata、dataOnly、metadataOnly和descOnly四个选项。

FailureGroup:

所属的失效组，是从-1到4000的一个数字。

DesireName:

希望的NSD的名字StroragePool:

指定该磁盘所属的存储池，如果不指定的话默认的存储池为system存储池。

5．大体配置进程

创建GPFS集群

用mmcrcluster命令创建集群，用前面预备好的节点配置文件nodefile作为输入：

其中-N选项指定节点配置文件，-s指定集群的ClusterDataServer，-s指定备选ClusterDataServer，-C指定集群所利用的名称，-A设置集群随节点启动时自动启动，默许是不启动。

用mmlscluster命令显示所创建的GPFS集群的信息：

创建NSD

用mmcrnsd命令创建NSD:

-F指定NSD的配置文件，利用前面预备好的数据文件nsdfile,-vno表示若是有磁盘上已经建有GPFS文件系统，那么从头格式化它。

用mmlsnsd显示所创建的NSD的信息：

用来创建NSD的数据文件被mmcrnsd命令修改成如下内容：

该修悔改的数据文件能够被用来提供输入给NSD的删除命令mmdelnsd和下面创建GPFS文件系统的命令mmcrfs。

启动集群

用mmstartup命令启动GPFS后台进程。

启动集群是创建文件系统的先决条件。

创建GPFS文件系统

用mmcrfs命令创建文件系统：

其中/gpfs01表示所创建的文件系统的挂载点，不需要事前手工创建挂载点目录，mmcrfs命令会自动在集群的所有节点创建该挂载点，并在执行删除文件系统命令mmdelfs时自动删除挂载点。

gpfs01是文件系统所对应的虚拟设备的名称。

-F选项指定被mmcrnsd命令修悔改的NSD配置文件nsdfile。

-A表示开机自动挂载该文件系统。

-B指定文件系统数据块的大小，如前所述，最新ML支持16K,64K,128K,256K,512K,1024K（1M）,2M,4M等数据块大小。

若是在集群尚未启动的情形下创建文件系统，系统会提示如下犯错信息：

用mmlsfs命令显示创建的文件系统的属性：

挂载GPFS文件系统

[root@lpar1#]mount/gpfs01[root@lpar1#]rshlpar2mount/gpfs01[root@lpar1#]rshlpar3mount/gpfs01[root@lpar1#]rshlpar4mount/gpfs01[root@lpar1#]

其它经常使用命令：

fuser显示利用文件系统的进程umount卸载文件系统mmdelfs删除GPFS文件系统mmdelnsd删除NSDmmshutdown停止GPFS进程mmdelnode删除GPFS节点mmchcluster更改GPFS集群配置数据，如更改ClusterDataServer。

mmchconfig更改GPFS集群参数，如是否开机自动启动。

6．参考文献

[1]GPFSAdvancedAdministrationGuide[2]GPFSAdministrationandProgrammingReference[3]GPFSConcepts,Planning,andInstallationGuide[4]GPFSProblemDeterminationGuide[5]GPFSDataManagementAPIGuide[6]GPFSFAQstopic/[7]GPFSManpage

专门注明：

本文以功能特性为基础做介绍，截至本文发稿时，上述文档并未与产品功能同步更新，比如2MB和4MB数据块支持，请参考相应命令的manpage或咨询IBM公司。