OceanStor3200F存储设备开局指导书V220613.docx

1、OceanStor3200F存储设备开局指导书V220613资料编码产品名称OceanStor使用对象技术支持工程师，工程人员产品版本通用编写部门集成产品部资料版本V2.2OceanStor ST1600/3200/5600存储设备开局指导书拟 制：王旭波日 期：2005-4-6审 核：日 期：审 核：日 期：批 准：日 期：华 为 技 术 有 限 公 司版权所有 XX修订记录日期修订版本描述作者2004-12-24V1.0完成OceanStor ST3200F存储设备的配置指南，可用于指导开局、维护。王旭波2004-12-29V1.1增加通过串口配置的方法；增加磁盘柜级联的配置方法；增加卷删

2、除、在线扩容、在线RAID等级迁移的内容等王旭波2005-01-9V1.2增加激活分区功能介绍章节王旭波2005-03-10V1.3增加了各模块FW版本检查的章节；重新优化了整文结构杨道明/王旭波2005-03-26V2.0根据开局中反馈的问题优化分区章节；增加性能调优章节郑成明/刘神/王旭波2005-04-06V2.1增加OceanStor存储设备安装指导部分内容。郑成明/刘神/王旭波2005-06-13V2.2增加多路径倒换主机端的设置部分王旭波关键字：OceanStor，SAN，DAS，Failover，FC，SANtricity，分区(Partition)，RDAC摘要：本文以ST32

3、00F为例对OceanStor存储设备的安装和配置进行了说明，供工程师开局参考。 因OceanStor ST1600/ST3200/ST5600除控制器配置、容量、性能等有差异外，应用和配置方式都相同，因此本文也可以作为OceanStor ST1600/ST3200/ST5600开局参考。缩略词清单：SAN：Storage Area NetworkDAS：Direct Attached StorageFC：Fibre ChannelRDAC：Redundant Disk Array Controller参考资料清单：第1章 产品介绍1.1 产品概述OceanStor ST3200F属于部门级的

4、中高端光纤通道存储设备，采用高可用设计，可作为传统的DAS（Direct Attached Storage）应用，也可用于SAN（Storage Area Network）环境。OceanStor ST3200F采用模块化设计，体积小巧紧凑，各模块之间通过FC光纤互联，可实现存储系统在线平滑扩容、升级。OceanStor ST3200F采用多路2Gb光纤通道连接到主机，内部提供2条速率高达200MB光纤硬盘通道，随机读写情况下，最高可提供77500的IOPS，实现同档次产品中最高的数据吞吐能力。它还采用了LANfree设计，业务和管理通道分离，管理、配置不占用业务带宽。OceanStor ST

5、3200F采用图形界面的SANtricity配置环境，操作简单，功能异常强大，支持在线扩容、RAID等级迁移、远程镜像等高级功能。1.2 硬件特点OceanStor ST3200F采用Intel Xcale处理器，内嵌硬件XOR逻辑算法，支持RAID0，1，3，5，1+0。OceanStor ST3200F阵列控制板的CPU内存为程序和数据Cache共用，最大支持2GB带ECC校验的内存。数据Cache具有回写、透写、Cache镜像和Cache淘汰的功能，实现最优的数据访问性能或者保护。OceanStor ST3200F支持最大7个硬盘框级联，每个硬盘框可容纳14个最大容量为146GB的高速光

6、纤硬盘，最大支持112块硬盘，从而达到16.4TB的存储总容量。OceanStor ST3200F提供了4条2Gb FC前端接口，实现与主机的高速互联。同时采用了2条2Gb FC后端接口，为内部磁盘提供高速的IO通道。OceanStor ST3200F还采用了高可用性设计。处理器、电源模块、风扇模块、FC通道等均采用冗余设计，避免单点故障。1.3 性能特性模块化结构设计。各模块之间松耦合，便于管理和平滑升级，在线的容量可扩展到16.4TB。高吞吐能力。OceanStor ST3200F具体IO指标如下表所示：指标ST3200F随机读Cache77,500 IOPS随机读磁盘25,000 IOP

7、S随机写磁盘5,200 IOPS顺序读Cache800 MB/s顺序读磁盘400 MB/s顺序写磁盘300 MB/s高可用性。OceanStor ST3200F支持99.995%的高可用性（High Availability），系统任何一个部件的失效均不会造成系统的停机。配备强大的系统管理软件SANtricity。集成的管理环境提供对存储系统直观、方便的管理，如RAID重构，LUN在线扩容，LUN屏蔽，数据复制，快照等。多操作系统支持。支持Microsoft Windows系列、Linux、NetWare及SUN、IBM、HP等厂商的Unix操作系统。第2章 安装流程图下面的流程图定义了ST1

8、600/3200/5600系列存储的安装、使用步骤，包括了硬件安装、存储设置、主机端设置等内容。第3章 安装过程指导3.1 硬件安装基本步骤 安装处理模块上机架 安装磁盘模块上机架 设置磁盘模块和处理模块的Tray ID磁盘阵列进行级联加电之前，请保证处理模块和所有磁盘模块的Tray ID已经正确设置，如果2台或多台磁盘框的Tray ID一样（或者处理模块与任意磁盘模块的Tray ID一样），会造成存储系统冲突，导致系统无法正常使用。Tray ID通过各模块背面中央的一个Tray ID设置盘来设定，具体位置如下图（ST5600处理模块由于本身不带硬盘，因此不需要设置ID）： 处理模块 磁盘模块

9、Tray ID设置盘中间的数字代表该模块当前的ID（出厂默认设置通常是0x00），设置盘上、下各有一个小按钮，按下这两个按钮即可加减该模块的ID值。 存储设备的级连接线Tray ID设置完毕后，就可以进行连线操作了。下面的接线示意图均采用冗余连接方式，即每个磁盘模块都有两条光纤Loop与ST3200/F的控制器相连。在任何一段光纤故障的情况下，仍然可以保证所有的磁盘模块均能被控制器访问，避免单点故障。如果是将1个ST3200/F与1个磁盘模块级联，接线方式如下图： 上图中1，2代表一共接了两根光纤。如果是将1个ST3200/F与2个磁盘模块级联，接线方式如下图： 上图的1，2，3，4代表一共连

10、接了4根光纤。如果需要了解详细的级联规则和细节，或者想知道ST3200/F与更多磁盘模块的级联方法以及ST5600与磁盘模块的级联方法，请参考专门文档：OceanStor多框级联接线方法专题 存储设备上电级联完成后，应先将所有磁盘模块上电。等待约1分钟后，再将处理模块上电，这样处理模块才能正确检测到所有磁盘模块。待所有模块都上电之后，进入SANtricity管理软件就可以在物理设备视图窗口中看到相应的模块，可以采用上面介绍的同样的方法对阵列柜进行配置了。安装环境要求：空调机房、2路交流电源、安装机架上电顺序：磁盘扩展框-磁盘阵列框下电顺序：磁盘阵列框-磁盘扩展框3.2 存储组网方式常用的组网方

11、式主要有三种： DAS连接Without Failover DAS连接With Failover SAN连接With Failover在主机数量比较少、对可靠性要求不太高的应用场合中，经常会采用DAS连接Without Failover的组网方式。在对可靠性要求比较高的环境中，通常推荐采用带Failover的连接方式。若主机数量在2台以下，采用DAS连接With Failover；若主机数量在2台以上应采用SAN连接With Failover。如果采用了带Failover的组网方式，不管是DAS还是SAN，必须参考本文第7章，在主机端安装相应的多路径软件并做相应的配置，否则主机无法正常识别、访

12、问存储设备！在SAN连接With Failover组网方式中，光纤交换机一般不建议设置Zoning，除非对光纤交换机的配置很有把握。3.2.1 ST1600/ST3200/ST3200F组网方式示意图DAS连接Without Failover（2主机）DAS连接With Failover（2主机）SAN连接With Failover3.2.2 ST5600组网方式DAS连接Without Failover（2主机）DAS连接With Failover（4主机）SAN连接With Failover3.3 设置存储控制器IP地址标配的OceanStor ST1600/32005600阵列柜都带有两

13、个控制器（Controller A/B），每个控制器上面集成一个专门用于管理配置的以太网口，出厂设置的默认IP地址是192.168.128.101/255.255.255.0和192.168.128.102/255.255.255.0。在某些情况下，可能需要修改控制器的IP地址以适应现场组网的需要。具体修改方法请参考本文第4.2节。3.4 安装SANtricity客户端管理软件SANtricity客户端管理软件可以安装在Windows、Linux或Unix主机上。一般安装在Windows管理工作站上。在Windows下，SANtricity安装过程与普通软件没有区别，安装过程不需要更改任何信息

14、，一路点击“Next”即可完成安装。3.5 检查各模块Firmware及NVSRAM版本对存储设备进行配置之前，一定要检查并保证Controller和ESM的Firmware版本兼容、各ESM的Firmware版本一致，以及Controller的NVSRAM版本符合要求，否则可能造成使用过程中处理模块与磁盘模块失去连接，导致数据丢失等严重后果！具体操作方法请参考本文第4.4节。3.6 存储配置3.6.1 创建卷组和卷具体方法请参考本文第4.5节。3.6.2 指定热备盘请参考本文第4.6节。3.6.3 定义存储设备全局属性：Storage Array change cache setting c

15、ache flush setting: 80% start flushing 20% stop flushing16KB cache block size注：在文件系统、媒体等大部分应用中，cache block size的值设置为16KB；在纯数据库应用中cache block size的值可设置为4KB。各设置项的具体含义和设置方法可参考本文第6.4节3.6.4 定义卷属性选定特定卷Volume changecache settingEnable read cachingEnable write cachingEnable write caching with mirroringEnabl

16、e write caching without batteres3 Cache read multiplier(065536)注：Enable read caching必选，提高读性能；Enable write caching必选，提高写性能；Enable write with mirroring在可靠性要求高的应用要选中，而在某些性能要求很高，而可靠性要求不高的应用可以不选； Enable write caching without batteries一般不选；Cache read multiplier(065536)：一般设置在08之间，不了解的情况下选3。本部分各参数的具体含义及详细设置

17、方法也可参考本文第6.4节。3.6.5 映射主机LUNVolume创建完毕之后，需要在SANtricity中的Mapping View将Volume映射到主机LUN，这样主机才能识别存储。具体操作方法请参考本文第4.7节。3.7 主机端设置主机设置主要工作是： 检查OS Patch版本 安装HBA卡驱动程序 如果采用了Failover连接，应安装多路径软件其中Microsoft Windows和Sun Solaris需要安装SM RDAC多路径软件； Linux 一般使用Qlogic 23xx HBA卡及Qlogic卡配套多路径软件；IBM AIX5.1/5.2和HP-UX操作系统自带多路径软

18、件。3.7.1 Microsoft Windows系统 安装HBA卡驱动程序 安装存储RDAC多路径软件3.7.2 Linux系统 安装SM HBA卡驱动程序 安装HBA卡配套多路径软件3.7.3 Sun Solaris系统 检查OS Patch版本 安装HBA卡驱动程序 安装SM Runtime 安装SM RDAC 安装SM Util3.7.4 IBM AIX 检查OS PTF/APAR版本 检查HBA Firmware版本 检查HBA Driver版本和RDAC版本3.7.5 HP-UX 检查OS Patch版本 安装HBA Driver3.8 存储分区SANtricity中所指的分区（P

19、artition）特性，与操作系统下对磁盘分区完全不同，二者没有任何联系。SANtricity中分区的定义是：一个或者一组主机与一个或者一组逻辑磁盘的集合；同一个分区内的主机只能访问自己分区所在的磁盘。一般来讲，如果同一套存储设备需要供多台服务器使用，特别是在多个不同的操作系统环境下使用，就需要为存储设备激活分区特性。如果需要激活存储设备的分区等高级特性，请参考本文第5章，为存储设备和主机设定分区。第4章 配置磁盘阵列本章主要介绍在DAS应用环境下，OceanStor ST3200F阵列柜的配置和使用方法。OceanStor ST1600/3200/5600产品同时支持带内（基于光纤通道）和带

20、外（基于以太网）管理、配置。由于带外管理不占用业务带宽，而且安装、实施简便，实际工程中都推荐采用带外管理。后面的例子将通过带外管理方式（即通过以太网），创建一个包含3块硬盘的卷组（Volume Group），然后在该Volume Group中创建一个大小为5GB卷（Volume），并为该Volume Group设定一块热备硬盘（HotSpare），然后将该Volume映射（map）到一台主机（Host）的LUN（Logical Unit Number）上供主机使用。另外也对卷组在线扩容、在线RAID等级迁移的方法进行了介绍。下面的例子仅用于对一般配置流程进行说明，实际使用的时候请根据现场需要进

21、行配置。注：由于存储管理软件SANtricity版本比较多，现场实际配置的时候看到的菜单位置和显示视图可能跟本文略有不同，但并不会影响配置工作的完成。如果配置过程中遇到任何问题，请联系华为存储产品技术支持。4.1 配置前的准备工作配置磁盘阵列柜之前，首先应做好如下准备工作：1、 收集并记录所有将要连接到阵列柜的Host的光纤HBA（Host Bus Adapter）卡或主板集成的FC（Fiber Channel）端口的16位WWN（World Wide Name）。该信息可以在主机POST过程中，按屏幕提示进入HBA卡或FC控制器的BIOS中查看，也可以在操作系统下通过HBA卡或FC控制器的配

22、套软件查看。2、 在一台管理终端（如PC机或者笔记本电脑）上安装好SANtricity软件，并将管理终端网口与阵列柜背面的配置网口通过以太网连接起来（如果存储设备只有一个控制器，可以用交叉网线直接连接控制器和配置终端的网口进行配置；但如果存储设备有两个控制器，必须将两个控制器的网口和配置终端网口连接到同一以太网交换机上进行配置）。注意：SANtricity管理软件分为Windows、Linux和Solaris版等，目前常用的软件版本有8.34、8.4、9.1等。对Windows版的SANtricity而言，同一软件版本又分别对应不同的Windows系统，比如8.4版有Windows 2000版

23、和Windows XP/2003版之分，Windows 2000版不能装在Windows XP和Windows Server 2003上面；Windows XP/2003版也不能装在Windows 2000上面。安装SANtricity的时候要注意按照光盘上印刷的提示，将软件安装在对应的操作系统上。3、 用光纤正确连接好主机与存储设备（应将Host端HBA光纤端口或集成FC端口连接至阵列背面的Host插口）。4、 如果需要将处理模块和1个或者多个磁盘模块进行级联，请首先阅读本文第3.1节，以便正确的进行级联接线，并合理设置Tray ID。 4.2 通过串口配置阵列柜控制器IP标准配置的Ocea

24、nStor ST3200F阵列柜带有两个控制器（Controller A/B），每个控制器上面集成一个专门用于配置的以太网口，出厂设置的IP是192.168.128.101/255.255.255.0和192.168.128.102/255.255.255.0。在某些情况下，需要修改控制器的IP地址以适应现场组网需要，下面介绍如何通过串口连接，修改控制器的IP地址。注意：在终端输入指令时要区分大小写，否则系统无法正确识别。首先用阵列柜自带的串口线（注意，该串口线是存储设备的专用线缆，不可用别的设备的串口线代替，否则可能无法通讯），将管理终端和控制器A背面的串口连接起来。然后在管理终端上打开任意

25、终端工具（本例中采用Windows自带的超级终端），做如下设置：此时将阵列柜上电，超级终端窗口将显示类似下图的POST信息：当屏幕最后一行显示“sodMain complete”时，阵列柜初始化完毕，如下图：此时，按键盘上的“Ctrl+Break”键，即可激活阵列柜的配置Shell，如下图：此时依屏幕提示，快速按下“ESC”键，即可进入Shell登录界面，如下图：输入登录密码“infiniti”并回车（输入密码时，屏幕光标处并不显示任何内容），即可登入阵列柜的配置Shell，如下图：屏幕下方的“-”是等待输入提示。此时输入“help”并回车，可以显示常用命令列表，如下图：在提示符下输入“ifS

26、how”并回车，将显示控制器A的配置网口信息，如下图所示：可以看到，此时控制器A的配置网口的IP地址是默认的192.168.128.101。输入“netCfgSet”并回车，即可进行网络设置修改，如下图：在上图的“NETWORK CONFIGURATION”栏下共有3列，第1列显示本行信息名称，第2列显示现有值，第3列是闪动的光标，如果直接回车，则保留第2列的现有值不变，如果输入字符并回车，则将第2列中对应的值修改为刚才输入的字符。建议只修改必要的信息（如IP 地址），其余均保留原有值。首先出现的是“My Host Name”行，原值是“target1”，直接回车，进入下一步：第2行就是阵列柜

27、Controller A的IP地址，原值是192.168.128.101。此时在光标闪动处输入新的IP地址并回车（本例中输入10.77.138.21，如上图）。下一行显示子网掩码（原值是255.255.255.0），如果需要修改，在光标处输入相应的值并回车确认；如果不需要修改，直接回车保留原值。随后将继续提示服务器端IP、存储设备管理密码、NFS USER ID等，如果没有特殊需要，建议均保留原值，直接回车即可。所有更改完成后，屏幕显示“Network Configuration successfully written to NVSRAM”，表示修改已经保存，如下图：此时按键盘“Ctrl+B

28、reak”，重启控制器Shell，以使更改生效。稍后再次出现登录界面，输入原口令“infiniti”并回车，即可重新登入Shell。在提示符下输入“ifShow”并回车，可以看到控制器A的IP已经更改为10.77.138.21，如下图：按照同样的办法和步骤，可以完成控制器B的配置网口IP地址的修改。4.3 用SANtricity搜索磁盘阵列配置阵列柜前，请检查是否已经将存储设备控制器的配置网口和配置终端的网口连接到了同一局域网内。如果存储设备有两个控制器，一定要将两个控制器的配置网口以及配置终端的网口连接到同一交换机上。在双控制器的情况下，如果用交叉线直接连接控制器网口和配置终端网口进行配置，

29、存储设备的功能会受限制，而且可能造成两个控制器信息不同步，导致意想不到的问题。硬件连接完成后，修改配置终端的IP设置，使其与存储控制器的IP处于同一网段。然后将存储设备加电并稍等，待其初始化完毕后，启动SANtricity软件。注意：如果存储设备有级联的磁盘模块，应先上电所有磁盘模块并等待约1分钟，待磁盘模块初始化完毕后，再上电处理模块，这样处理模块才能正确识别所有磁盘模块。第一次启动时，由于SANtricity Storage Manager中没有任何设备，将弹出一个对话框，提示自动搜索设备，如下图：点击“Yes”确认，SANtricity Storage Manager将扫描配置终端IP所

30、在的网段，并将搜索出来的设备显示在窗口右边的区域，如下图：双击右方窗口中搜索出来的存储设备图标，即可进入该存储设备的管理配置界面，如下图：上面的窗口左方显示了阵列柜逻辑磁盘的名称、空间容量等信息，右方则显示了物理磁盘及阵列柜的图形化信息。在右方区域的硬盘或者控制器上面点右键，可以查看磁盘、控制器的信息，或者进行其余相应的操作。点击最右面的绿色温度计图标可以查看系统的健康状况。4.4 各模块版本检查在用SANtricity对存储设备进行创建Volume Group等操作之前，一定要检查并保证Controller和ESM的Firmware版本兼容、各ESM的Firmware版本一致，以及Contr

31、oller的NVSRAM版本符合要求，否则可能造成使用过程中处理模块与磁盘模块失去连接，导致数据丢失等严重后果！点击SANtricity主界面菜单栏的“Storage Array-View Profile”，如下图：此时弹出存储设备的系统Profile菜单，如下图：点击上图“Controller”标签，切换到Controller信息显示，在下面的信息框中可以找到“Firmware version”和“NVSRAM version”，后面的字符就是Controller的Firmware版本和NVSRAM版本，如下图：再点击“Trays”标签，切换到磁盘模块信息显示，在下方的信息框中可以找到“ESM card”段落，下