文件系统安装维护规范.docx
《文件系统安装维护规范.docx》由会员分享，可在线阅读，更多相关《文件系统安装维护规范.docx（38页珍藏版）》请在冰豆网上搜索。
文件系统安装维护规范
StorNext共享文件系统
安装配置及维护规范
目录
1.StorNext共享文件系统实现基础架构及其工作原理3
1.1基于SAN的StorNext共享文件系统架构部署3
1.2基于SAN的StorNext共享文件系统工作原理5
1.3基于SAN&NAS的StorNext共享文件系统架构部署7
2.StorNext共享文件系统常用术语10
3.StorNext共享文件系统实施规范13
3.1SNFS系统实施规划13
3.2SNFS系统软件安装17
3.3SNFS系统软件配置17
4.StorNext共享文件系统运行维护19
4.1SNFS共享文件系统日常维护19
4.2SNFS共享文件系统故障处理22
4.2.1SNFS共享文件系统常见故障22
4.2.2SNFS共享文件系统故障检查及处理步骤23
4.2.3SNFS共享文件系统故障售后处理步骤24
4.3SNFS共享文件系统启动和停止25
4.4SNFS共享文件系统日常维护常用命令27
附件1SNFS标签丢失及修复29
附件2使用cvfsck命令实现文件系统检测32
附件3StorNext产品服务内容及步骤37
1.StorNext共享文件系统实现基础架构及其工作原理
美国昆腾公司的StorNext数据存储管理软件被广泛应用于广电、能源、科学计算、卫星勘测等领域，用于实现数据的虚拟化存储。
StorNext数据存储管理软件包括两部分，一是StorNexFileSystem（StorNext共享文件系统，简称SNFS），用于实现异构SAN或LAN环境下共享文件系统；另一个是StorNextStorageManager（简称SNSM）迁移管理软件。
基于StorNext数据存储管理软件可为用户提供一个高性能、大容量的统一存储系统。
以下我们主要简述在广电领域被大量应用的StorNext共享文件系统软件的架构部署及其工作原理。
在本文我们将介绍两种类型的StorNext共享文件系统部署架构：
●基于SAN的StorNext共享文件系统存储架构
●基于SAN&NAS的StorNext共享文件系统存储架构
1.1基于SAN的StorNext共享文件系统架构部署
基于美国昆腾公司的StorNext共享文件系统（也称之为SNFS共享文件系统），可实现多台服务器（甚至是不同类型的服务器）并发共享访问同一个文件。
作为一个基于SAN存储架构的共享文件系统，SNFS可以比传统直连存储模式在数据访问和管理方面提供明显的好处：
●分配存储资源更容易。
通过取代以每个主机为单位供应和跟踪存储资源，StorNextFS实现了可以被许多主机同时访问的文件系统。
可以集中进行存储资源分配、管理和保护数据等管理工作。
●一个共享文件系统消除了存储冗余度，因为很多主机不必保存同一文件的多个副本。
这不仅提高了存储系统总体的利用率，而且降低了数据备份和其他数据保护应用的负担。
●数据的可用性更好，因为数据不再绑定在某个单独的服务器上。
如果一台主机不可用，其它主机依然可以访问共享数据。
●如果用户不再通过局域网在主机之间传输文件，将大大提高生产效率、降低网络带宽瓶颈。
如上图所示，在一个通过SAN实现服务器与存储设备连接的生产环境中，服务器可通过光纤链路实现共享存储的基于BLOCK级的数据共享访问，但这种访问是基于物理层面的，而且往往是服务于数据库系统的。
基于StorNext共享文件系统可使得这些服务器可实现文件级的逻辑层面的数据共享，同时这些文件数据的访问链路依旧是基于FC的。
也就是说所有的服务器都可以通过FC链路直接共享访问这些数据文件。
因此采用SNFS共享文件系统能够有效利用SAN网络保证系统中的各服务器对共享磁盘阵列中数据访问的性能要求。
如上图所示，在具体的系统部署中，我们通常将SNFS共享文件系统的管理节点，称之为元数据服务器（MetadataServer或MetadataController），在其他的拟实现基于FC链路访问共享存储中数据的服务器称之为SNFSSAN客户端（SANClient）。
在元数据服务器和其他SNFS客户端中部署SNFS软件，实现整个系统中的多台服务器共享存储在光纤磁盘阵列上的数据文件。
由于SNFS元数据服务器对所有服务器实现数据访问集中控制。
1.2基于SAN的StorNext共享文件系统工作原理
StorNext共享文件系统实现的数据存储管理是将存储的数据文件逻辑分为两部分，一是文件的基本属性，包括文件名、文件大小、文件创建及修改时间、文件存储位置等，这类信息我们称之为文件的元数据信息；另一个就是这个数据文件存储的数据内容，我们称之为文件的数据体。
如上图所示，在一个基于SAN的StorNext共享文件系统中将部署两个网络：
一个是用于实现元数据在元数据服务器和SAN客户端之间传输的以太网络，另一个就是用于文件内容存储访问的SAN存储网络。
StorNext元数据服务器本身可不负责对数据文件数据体的访问，当一个SNFSSAN客户端服务器希望读取已经存储在共享文件系统中的数据文件时，它只需要首先通过以太网络（称之为元数据网络，我们建议此网络最好只用于元数据信息传输，私有网络将有助于提高SNFS共享文件系统的读写性能）向元数据服务器发出请求，由元数据服务器决定该文件是否可用并且该服务器的应用或用户是否有权访问此文件。
如果此文件可被授权访问，则元数据服务器可将此数据在SAN存储设备中的存储位置发送回该服务器，该服务器就可以直接通过高速的光纤网络访问该文件了；对于新文件的创建，元数据服务器将根据策略在SAN存储设备中分配给这台请求存储空间的服务器足够的存储地址，在SNFS客户端得到这些地址信息后，将通过FC链路直接实现数据存储。
在此数据存储操作完成后，元数据服务器将及时更新各SAN节点（SNFS的SAN客户端）的共享文件系统的存储信息，以确保数据在所有SNFS节点间的数据访问同步。
在具体StorNext共享文件系统的生产部署实现上，由于元数据服务器是整个系统的管理核心，因此我们通常建议客户部署两台服务器，实现主、备元数据服务器的存储结构，组成双机高可用系统，采用Fail-Over方式的双机高可用模式，如下图所示：
以保证当正常运行在主元数据服务器的SNFS共享文件系统管理功能出现故障时，这一功能可在限定的时间内切换到另一台服务器中，不会对用户正在生产的业务系统运行产生任何影响。
这两台服务器都可称之为元数据服务器，正在实现文件系统管理的服务器为主元数据服务器，处于备援状态的服务器称之为备元数据服务器。
采用以上存储架构可实现共享存储中的数据以文件形式实现访问，可实现基于工作流的数据存储管理服务，以提升部门之间、人员之间的协同工作能力，提升工作生产效率、数据访问及管理效率。
同时，虚拟化的、文件级数据共享存储访问提高了数据存储资料的利用率，同时更为存储系统的按需扩充奠定了坚实基础。
在基于SAN存储架构实现的StorNext共享文件系统中，用户需要针对每一个需要实现数据共享访问的SAN客户端实现授权管理，也就是说，每一个SAN客户端需要一个License，此License与所需的平台相关；同时为实现元数据服务器的高可用管理机制，也需要一个FailoverOption以激活元数据服务器的高可用服务。
1.3基于SAN&NAS的StorNext共享文件系统架构部署
在StorNextV3.0以后的版本，美国昆腾国际公司（以下简称昆腾公司）不仅提供了基于SAN共享的数据存储技术，同时也提供了一个优化、高性能的网络数据存储解决方案给StorNext共享文件系统客户。
分布式LAN客户端是StorNext数据共享解决方案的一个重要补充，它能让需要断续访问或部分访问共享数据储存库的应用程序以更低的成本连接StorNext存储。
分布式LAN客户端还通过改进的弹性、负载均衡和每数据流性能，消除了NFS和CIFS数据共享的实现中一对多的数据访问限制。
如上图所示，基于DLC模式的数据写入可通过多台SAN客户端节点实现，这些SAN客户端节点可称之为ClusterGateways（网关服务器）。
也就是说，在写入过程中如果一个实现数据写入的SAN客户端出现故障，这个写入请求还是可通过其他SAN客户端实现，也就是说从根本上消除了CIFS的单点故障。
基于StorNext共享文件系统实现的SAN+NAS存储架构的不是非常简单，可直接将DLC分布式网络客户端模块安装在原有通过CIFS实现网络访问共享文件系统的服务器上，即可实现共享存储系统中数据访问的高性能并提高数据访问的可靠性。
如下图所示：
当某台DLC客户端服务器（LANClients）需要访问存储在共享文件系统中的数据时，这台DLC客户端将首先发送该文件的元数据信息（文件存储位置信息）数据请求到元数据服务器，元数据服务器将相关的元数据信息反馈给这台DLC客户端，这台DLC客户端就将这些元数据信息通过以太网络转递给已经获取的可提供共享文件系统存取服务的网关服务器IO节点服务器（SAN客户端，ClusteredGateways），而后由这些IO节点服务器实现数据的存取。
多个网关服务器，可同时为所有的网络客户端节点使用，从而可提供高速、并发的数据访问支持。
同时，基于DLC访问模式，还可实现网络数据访问链路的冗余（Failover）和负载均衡（LoadBalance）。
比较DLC分布式网络客户端访问模式与传统的NFS/CIFS服务模式，NFS/CIFS服务模式实现的一对多的连接模式，因此当NFS/CIFS服务器出现故障时，所有通过NFS/CIFS协议访问这台NFS/CIFS服务器的网络节点将不能继续工作；而如果是在网络节点服务器上采用了StorNext的DLC分布式网络客户端（LANClients），则可将多台IO节点服务器（SAN客户端服务器）作为可提供网络数据访问服务的服务器集群（ClusteredGateways）。
此外基于DLC的数据写入模式，用户还可以根据写入数据类型，对单次输出的数据块长度进行优化，以便在提高数据传输有效性的同时，减少可能产生的碎片度。
在此网络存储架构中的IO节点服务器就是SNFS的SAN客户端（ClusteredGateway）。
为实现DLC网络共享存储方案，还需根据实际需要增加配置DLC分布式网络客户端模块，所需的模块个数将根据用户现有环境中需要通过SAN客户端基于CIFS实现共享的网络客户端，通常每个需要通过DLC方式访问共享文件系统的需要一个DLC客户端授权。
综上所述，基于StorNext的SAN客户端模块和DLC分布式网络客户端模块可实现SAN+NAS的SNFS文件系统共享存储管理，可为SAN+NAS类型的客户应用提供更为高效便捷、可靠安全的数据存储管理服务。
2.StorNext共享文件系统常用术语
本章将简述基于美国昆腾公司的StorNext数据存储管理软件实现的共享文件系统中常用的术语以及各自的功用，供参考。
●SNFS共享文件系统，也常称之为StorNext共享文件系统、SAN共享文件系统等。
它是指基于美国昆腾公司的StorNext数据存储管理软件中的StorNextFileSystems模块基于SAN存储架构实现的、一个可被多主机共享访问的日志型文件系统。
●元数据服务器（MetadataServer、MetadataController），也称之为StorNext元数据服务器、SNFS元数据服务器等。
它是指实现SNFS共享文件系统元数据管理服务的服务器。
为实现元数据管理的高可用性，通常配置两台，一主一备，以确保文件服务管理的访问可靠性和连续性。
●元数据，在SNFS共享文件系统中是指文件的基本属性信息，即文件的文件名、文件大小、文件属组、文件创建及修改时间、文件存储位置等信息，此类信息在SNFS共享文件系统中是被元数据服务器进行管理的。
●文件的数据体，是指文件存储的具体数据内容。
在SNFS文件系统中，文件的数据体是可被所用的SAN客户端服务器直接访问的。
●SNFS客户端，包括SNFSSAN客户端和SNFSDLC分布式网络客户端。
⏹SNFSSAN客户端，简称为SAN客户端，SNFSSAN客户端是指通过SAN链路直接访问文件的服务器，亦即安装FC卡通过FCSAN实现共享存储访问的服务器或安装网卡通过IPSAN实现共享存储访问的服务器。
⏹SNFSDLC分布式网络客户端，简称DLC客户端，是指通过网络基于SNFSDLC管理协议实现SNFS共享文件系统中数据文件访问的客户端。
●DLC网关服务器（DLCPROXYSERVER或DLCGATEWAYSERVER），也可称之集群网关服务器（ClusteredGateway）。
这些客户端服务器就是SNFS的SAN客户端，只是在实现文件系统加载时，添加了一个Mount加载选项“diskproxy=server”（Linux客户端）或指明此服务器为DLCProxyServer（Windows客户端）。
DLC分布式网络客户端就是通过这些服务器实现SNFS共享文件系统中数据存取的。
●元数据传输网络，在用于元数据传输独享时，也称之为私有元数据网络（PrivateMetadataLAN）。
这一网络是指连接元数据服务器、SNFS客户端服务器（SAN客户端、DLC分布式网络客户端）的以太网络，用于实现元数据的在元数据服务器和SAN客户端间的元数据传输的。
为确保元数据传输不被干扰，通常建议配置一个专用以太网络用于元数据传输。
一个独享的100Mbps的网络就足够与元数据的传输。
●DLC数据传输网络，此网络可用于DLC网络客户端与DLC网关服务器间进行数据交换。
此网络并不是必须的，如果无法在DLC分布式网络客户端和DLC网关服务器之间构建一个单独网络用于用户数据传输，也可以与与元数据传输网络共享使用，但为确保DLC客户端的数据访问性能，建议是一个共享的Gbits网络。
●数据卷
在SNFS共享文件系统中，用于实现元数据、日志数据、用户数据存储的最小物理单元，根据存储数据的不同类型，包括：
⏹元数据卷，是指用于存储元数据的磁盘卷LUN，通常建议采用RAID1或RAID1+0方式实现磁盘卷的RAID保护。
此磁盘卷LUN需要被元数据服务器共享。
用于存储SNFS共享文件系统中文件的元数据信息。
在存储设备中，应具备最高性能和最高安全性。
⏹日志数据卷，是指用于存储日志数据的磁盘卷LUN，通常建议采用RAID1或RAID1+0方式实现磁盘卷的RAID保护。
此磁盘卷LUN需要被元数据服务器共享。
在存储设备中，应具备最高性能和最高安全性。
非必须的磁盘卷，如果存储系统不具备创建单独RAID卷组实现日志数据存储，则日志数据和元数据可存储在同一元数据卷内。
⏹用户数据卷，是指存储用户数据的磁盘卷LUN，可能是多条，通常采用RAID5或RAID6方式实现磁盘卷的RAID保护。
构成文件系统的磁盘卷LUN需要被加载此文件系统的所有SAN连接的服务器（SAN客户端，包括元数据服务器）共享。
数据卷是用于存储用户数据文件数据体的物理设备。
●SNFS磁盘卷标签，或称之为SNFS卷标，在创建文件系统每一个SNFS共享文件使用的磁盘卷上都需要标记一个磁盘卷标签。
此磁盘卷标签是用于该卷在SNFS文件系统启动时与此卷在操作系统中的物理设备名对应的，因此SNFS卷标完整性是SNFS文件系统可被正常加载的前提。
●条带化卷组
是在SNFS共享文件系统中用于文件存储的最小逻辑单元，以磁盘卷组的形式提供磁盘卷的管理，包括以下几种不同类型的卷组类型：
⏹元数据条带化卷组，或称之为元数据卷组。
在文件系统配置中，用于实现元数据存储的条带化卷组，称之为元数据条带化卷组。
⏹日志数据条带化卷组，或称之为日志数据卷组。
在文件系统配置中，用于实现日志数据存储的条带化卷组，称之为日志数据条带化卷组。
此为非必须的磁盘卷组，如果存储系统不具备创建单独RAID卷组实现日志数据存储，则日志数据和元数据可存储在同一元数据卷组内。
⏹用户数据条带化卷组，也可称之为用户数据卷组或数据卷组。
在文件系统配置中，用于实现用户数据文件的数据体数据的数据存储。
●其他常用的用于文件系统配置的参数，包括FsBlockSize、JournalSize、Journalsize、InodeExpanMin、InodeExpanInc、InodeExpanMax、这些参数与应用相关，我们通常不建议在实施过程中修改文件系统的缺省参数（缺省参数可参见/usr/cvfs/examples/example.cfg文件中的有关信息），如需修改请咨询Quantum的专业服务顾问。
3.StorNext共享文件系统实施规范
本章将简述基于美国昆腾公司的StorNext共享文件系统模块构建的SNFS共享文件系统的实施规范，供参考。
一个SNFS共享文件系统的实施可分为以下实施步骤：
●SNFS系统实施规划
●SNFS系统软件安装
●SNFS系统配置
3.1SNFS系统实施规划
在进行SNFS系统实施前需要进行充分规划，以避免实施的无序性，避免实施错漏和降低后期系统扩容（特别是SNFS共享文件系统扩容）的难度。
规划内容包括：
●系统需要的、拟创建的SNFS文件系统的名称和容量及使用的磁盘卷设备。
⏹文件系统名称将建议采用更为直观的描述实现，例如如果这个文件系统是存储高清数据的，可使用GAOQING或HD为文件系统的名称。
⏹文件系统容量定义是规划定义此文件系统需要捆绑多少条物理磁盘卷LUN构建这个文件系统，在这里我们不建议用户使用大容量磁盘卷卷来构建SNFS共享文件系统，特别是在多客户端并发写访问一个共享文件系统时。
●根据应用需求SNFS文件系统的容量进行共享存储系统（使用SAN连接的磁盘阵列设备）的规划，此规划主要是根据存储的最佳实践完成存储设备的Cache、磁盘卷（包括用于元数据、日志数据存储磁盘卷和用于用户数据存储磁盘卷）的规划和创建。
这需要咨询所采用存储的厂商专家进行规划设计，以达到最高安全性和最佳性能。
以上两步完成后，可以列表的形式表述此规划。
例如以下创建了一个名称为HD.cfg的共享文件系统，文件系统的元数据和日志数据存储在同一个元数据条带卷组，共有四个用于用户数据存储的磁盘卷组，每个条带卷组中包含两个磁盘卷：
共享文件系统名称
SNFS条带卷组
SNFS条带卷组名称
磁盘卷SNFS标识
LUN
HD.cfg
元数据卷
MetaJourFiles01
HD_XP_MTJN013
HD_XP_MTJN014
013
014
用户数据卷
DataFiles001
HD_XP_DATA072
HD_XP_DATA073
072
073
用户数据卷
DataFiles002
HD_XP_DATA074
HD_XP_DATA075
074
075
用户数据卷
DataFiles003
HD_XP_DATA076
HD_XP_DATA077
076
077
用户数据卷
DataFiles004
HD_XP_DATA078
HD_XP_DATA079
078
079
备注：
1.以上系统设计的前提是两条磁盘卷的IO性能可满足用户应用存储带宽的需求，如果带宽不能满足，需要增加条带卷组中磁盘卷的条数。
2.建议磁盘卷的卷标和文件系统名称及磁盘卷的SNFS卷标相关联，以便丢失后易于回写。
如上磁盘卷标识：
HD_XP_DATA072中
1）HD是指文件系统名称
2）XP是指存储系统类型
3）DATA是指用户数据磁盘卷、MTJN是指用于存储元数据和日志数据的磁盘卷
4）072是指此磁盘卷的LUN号。
●拟访问共享文件系统的各服务器操作系统平台规划。
这里涉及以下几点：
⏹一是指元数据服务器需要满足的最低配置，建议如下：
总之，内存越大越好、CPU个数越多越好、磁盘空间越大越好。
⏹二是指规化SNFS安装的操作系统平台，在广电领域使用的服务器平台多为Windows平台，包括Windows2003、WindowsXP、Vista以及今后可能使用的Windows7等，SNFS共享文件系统都对这些平台提供支持，但注意请这些平台的操作系统版本及必须的补丁程序的安装和配置，可参见下表。
备注：
我们建议用户在规划SNFS共享文件系统的元数据服务器平台是使用Linux操作系统而不是Windows操作系统。
⏹三是规划数据卷大小，特别是元数据卷的大小以及使用的磁盘卷标签类型等。
元数据卷大小定义是与存储文件的目录个数及目录下文件个数相关，请参见下表：
磁盘卷所使用类型及操作系统平台要求如下（请注意在包含WindowsXP的SNFS共享环境中，数据磁盘卷LUN的大小不能超过2TB）：
备注：
1.Metadata卷大小和设定的FsBlockSize及目录下的文件数量相关。
2.不建议metadata卷小于25GB，metadata卷的大小与文件目录数、文件数及FsBlockSize相关，建议文件系统配置参数FsBlockSize在16K-64K之间，FsBlockSize较大将有助于提高文件系统启动及在主备系统间实现切换的速度。
3.在一个文件系统中，同一个StripeGroup中的Data磁盘LUN的大小需是一致的。
建议用于存储数据的DataLUN为二或四的倍数，在一个文件系统中多StripeGroup模式将有助于提高文件系统的可靠性并减少磁盘碎片。
4.所有的Metadata磁盘和Journal磁盘，必须保证是整个存储中性能最优、安全性最好的磁盘，建议使用Raid1＋0实现Metadata数据和Journal数据的存储保护。
建议采用Raid5实现Data磁盘的保护。
其实这部分工作在系统设计阶段（售前）应该已经完成，但在实施阶段的规划将是将售前的系统规划进行定量化，为后续系统的部署实施做好准备。
以下为SNFS共享文件系统中可配置的条带化卷组、磁盘卷的最大值供参考：
●一个SNFS文件系统最多的卷组为256个。
●一个条带化卷组中最多的磁盘个数为128个。
●一个文件系统中最多的磁盘个数为512个。
3.2SNFS系统软件安装
SNFS的软件安装非常简单，请参照SNFS的有关安装指南进行软件安装。
需要关注的就是：
请在操作系统平台完成安装配置后再安装SNFS共享文件系统管理软件；而不建议使用全盘“克隆”方式。
3.3SNFS系统软件配置
SNFS的软件配置是整个SNFS系统实施过程中最为简单的，特别是在Windows平台的配置更是如此。
唯一需要注意的主要有以下两点：
●一是在完成标记磁盘卷的SNFS标签后，必须将磁盘卷SNFS标签状态记录到一个文件以便后续磁盘卷标签丢失后使用：
⏹在Linux元数据服务器平台可使用如下命令参见：
#“/usr/cvfs/bin/cvlabel–c>cvlabel.`hostname`_`date+%F`”
⏹在Windows元数据服务器平台可使用如下命令才：
C:
\ProgramFiles\StorNext\bin\cvlabel–c>cvlabel.out
●一是在客户端配置并加载文件系统后需要修改回收站属性，对于加载文件系统的盘符禁用回收站功能，即“删除文件直接删除而不移入回收站”。
如下为一个英文操作系统平台的配置实例，请参考：
升级会员 