NAS存储配置文档.docx

1、NAS存储配置文档NAS3300，NAS3600部署文档一、硬件配置：序号设备名称配置数量1NAS3300主机单节点（控制器）12块500G SATA硬盘，激活feature：CIFS，iSCSI，snapmirror12EXN1000扩展柜5块500G SATA硬盘与NAS3300主机互联扩容磁盘到17块13NAS3600主机双节点（控制器）16块500G SATA硬盘，激活feature：CIFS，iSCSI，snapmirror，cluster1表格 1 硬件配置表二、设备连线图1、NAS3300主机和EXN1000扩展柜连线图图表 1 NAS3300和EXN1000连线图*注意图中e0

2、b虽有连线，但实际未配置IP地址，处于闲置状态。2、NAS3600主机连线图：图表 2 NAS3600连线图三、用户需求 用户对NAS的大致需求为：NAS3600和NAS3300组成一套高可靠的NAS系统，其中NAS3600为主，NAS3300为备，整个NAS系统对以太网络中的各种主机（Unix，Windows）提供1个大约3.5T的多协议（NFS，CIFS）支持网络共享文件系统，并通过snapmirror功能将该文件系统镜像到NAS3300中备用。系统拓扑如下：图表 3 系统拓扑图四、知识点：NAS存储：就是网络上的共享文件系统。注意NAS和普通的阵列存储柜最大的区别在于NAS在文件系统层次

3、对外提供存取服务，而普通阵列存储柜在底层（数据块）对外提供存取服务，二者的层次和数据单位完全不同。NAS N系列尽管外形像一个阵列存储，但实际上它是一台对网络提供文件存取/共享服务的服务器，所以在NAS领域对其控制器称为“节点”，NAS3600配置了2个控制器，应看成2台文件服务器、2个节点（可构成cluster）。NAS操作系统：NAS对外提供文件系统级服务，其自身必须具备相应处理能力，也就是在NAS存储中，必须安装一套通用（windows NT/linux/unix）操作系统或专用操作系统以实现上述功能。NAS N系列采用基于Unix，取消通用功能，只注重文件服务的专用操作系统 ONTAP

4、。ONTAP在存储上的分布：ONTAP以控制器为单位部署，1个控制器上面就有1个ONTAP。NAS N系列的磁盘聚合（aggregate）：NAS N系列用聚合来表示一个RAID，与普通的DS阵列柜不同的是，NAS N只支持RAID4和RAID_DP（其实就是RAID6）两种模式，并且NAS N的磁盘聚合必须要求热备支持，不像DS系列那样可以单独设置hotspare，在NAS N中创建磁盘聚合的同时就必须包含spare盘（就是热备）。按照此种规则，用户创建RAID4磁盘聚合时就需要3块盘（1块data，1块parity，1块spare），而RAID_DP更是需要4块（因为多了1个parity校

5、验盘）。NAS N上的磁盘空间估算：由于NAS N需要安装ONTAP操作系统，并且NAS N以磁盘聚合方式提供RAID功能，如果是2节点机型，操作系统磁盘占用量就比较夸张了。所以，在订购NAS N时，必须要把操作系统占用的磁盘空间排出后，再来计算数据存储空间。比如这次的NAS3600，配了16块500G SATA盘（实际使用414G），数据空间计划3.5T，但是由于使用了双节点，每节点操作系统出厂默认采用RAID_DP磁盘聚合，这样共有8块磁盘被占用，实际可分配磁盘只有8块，如果再配1个聚合，容量就不够了（因为parity和spare又要占用磁盘，实际可用空间大大降低）。只能把8块空闲盘加入到

6、操作系统的聚合中，对空间进行再分配。NAS N支持iSCSI：NAS N支持iSCSI，即底层的数据块存取，需要相关licence激活。激活后NAS N可以同时对外提供文件系统和LUN存取服务。不过如果单独用来跑iSCSI就本末倒置了，还不如买个专门的iSCSI存储，成本还低些。NAS N Cluster支持：这部分定义尚不是很清晰，应该是同一个NAS N存储里的2个节点（控制器）之间可以构成1个高可靠群集，就象双机热备。五、配置过程： NAS N通过专门的串口（RJ45）和主机端口开启的Web页面提供人机交互，但是要实现Web方式，必须事先通过串口对NAS N的主机端口（e0a，e0b）设置

7、IP地址，所以，配置NAS N的先决条件是访问串口。 访问串口：首先找到NAS N自带的一个9针串口转RJ45口转接线，然后采用自备的USB转串口线，由于这2根线在串口段都是针，所以还需要一根串口连接线，这根线非常特殊，因为线序不同于普通9针串口连接线，只能从配件中找，本次项目是用公司自备的存储专用9孔串口连接线才搞定。拓扑连接如下图：图表 4 串口连线图RJ45口9“针”串口（对于针口：宽在上左起为1）3（棕色）34（棕白）56（橙色）2表格 2 RJ45转9“针”串口线对应表9“孔”串口（对于孔口：宽在上右起为1）9“孔”串口（对于孔口：宽在上右起为1）14233241557887表格 3

8、 9“孔”转9“孔”串口连接线对应表1、配置主机端口IP地址： NAS N要正常对外提供文件服务，必须要配置其主机端口：e0a和e0b：IP地址，子网掩码，网关，DNS设置等等。NAS N e0a和e0b出厂默认未配置，无法通过Web方式对其进行访问和配置，必须通过串口对其进行最基本的初始设置。 用笔记本通过上述连接线与NAS N节点串口接好后，使用windows自带的超级终端对设备进行初始设置，com口参数设置如下：图表 5 COM口参数 登陆之后3秒钟按下enter键即进入NAS N命令行模式（用户名：root，密码初始为空），如果是第一次未配置的设备，命令行界面自动进入系统设置step

9、by step交互模式，在设置了e0a和e0b两个主机端口的节点名称（e0a和e0b共用1个节点名）、IP地址和一些其他网络属性后，命令行会提示后续配置是否进入图形方式（Web），我们选择“y”后，step by step交互模式终止。通过与NAS N e0a和e0b在同一个网络里的pc主机里的Web浏览器，直接对设备进行图形化的配置。NAS3600上节点NAS3600下节点NAS3300节点名NAS3600ANAS3600BNAS3300IP地址e0a：10.189.61.47e0b：未设置e0a：10.189.61.48e0b：未设置e0a：10.189.61.49e0b：未设置网关10.

10、189.61.25210.189.61.25210.189.61.252表格 4 节点基本设置表2、Web界面设置介绍： 1）、节点基本设置： http:/api，主要是对节点一些最基本参数的设置，包括主机节点名（Filer Name）、端口IP地址，网关，DNS，功能激活等等，设置完毕后见下图：2）、节点各功能详细设置： http:/ /na_admin，对节点各个功能的详细设置，包括添加/删除磁盘，创建聚合、卷、CIFS / NFS文件共享和snapshot、snapmirror等高级功能设置。主页面参见下图：主页面有3个选项：FilerView：配置节点功能Filer At-A-Glan

11、ce：性能检测Manual pages：命令参考手册选择FilerView进入图形化配置界面：在这里可以查看设备基本状态。见下图：3、在NAS3600A上创建3.5T共享存储空间1）、首先查看设备磁盘使用状况： 进入FilerView后，选择左边导航菜单中的StorageDisksManage，如下图：Disk：显示磁盘的名称（0c.10.0）Type：显示磁盘所属关系以及状态：spare：磁盘属于当前节点，并且为热备盘parity：磁盘属于当前节点，并且为校验盘dparity：磁盘属于当前节点，并且为第二校验盘（RAID_DP独有）data：磁盘属于当前节点，并且为数据盘partner：磁盘

12、不属于当前节点（双节点情况下），只有在另外一个节点才可以查看该类磁盘的状态unowned：磁盘不属于任何节点（未分配）physical：每块磁盘实际容量（标称值为500G）Aggregrate：磁盘所属的聚合（aggr0为ONTAP操作系统所在磁盘聚合） 在本例中，NAS3600有16块500G SATA硬盘，但由于NAS3600有2个节点，每节点出厂设置各占用磁盘4块，即：NAS3600A占用：0c.10.1、 0c.10.3、 0c.10.5、 0c.10.7NAS3600B占用：0c.10.0、 0c.10.2、 0c.10.4、 0c.10.6剩下8块为unowned状态2）、出现的问

13、题： 不管把剩下8块磁盘放入NAS3600的A或B节点的aggr0中，实际可用容量都只能达到2.7T总容量，除去aggr0中ONTAP操作系统所在vol0卷占用的空间，数据卷vol1只有大约2.2T可用3）、原因： 与原厂商工程师沟通后，发现有以下几个因素影响容量大小：双节点：NAS N系列的每一个节点都要单独占用一定数量的磁盘来构成操作系统所需的聚合（aggr0），本例中，NAS3600每节点聚合（aggr0）出厂配置为RAID_DP，至少需要4块磁盘，2节点至少占用8块。双spare盘：NAS N在图形界面下往aggr0添加磁盘时，必须要保留2块磁盘为spare，否则，配置不能通过（图形界

14、面下的bug，在命令行下可以只保留1块spare）。snapshot占用20%的可用空间：在创建聚合时，默认有20%的空间保留给了snapshot，如果不使用该功能是可以不用保留的。vol0卷空间过大：vol0空间是aggr0聚合下的一个卷，用来放置ONTAP操作系统，默认该空间较大。4）、针对以上问题的解决思路：把NAS3600A作为工作节点，把NAS3600B aggr0的阵列模式从RAID_DP改为RAID4，释放出一块磁盘，再分配给NAS3600A。在命令行下执行给NAS3600A添加磁盘操作，可以只用1块spare修改NAS3600A aggr0的属性，把snapshot的空间从20

15、%降到0%修改NAS3600A aggr0下的vol0卷属性，把大小降到80G左右最后重新调整NAS3600A aggr0下的vol1卷大小 具体步骤：1)用Web浏览器登陆到NAS3600B节点：http:/10.189.61.48/na_admin2)选择FilerUser Command Line，进入命令行模式（图形界面操作只是命令行的一个子集，有些命令必须通过命令行方式执行）3)输入： aggr options aggr0 raidtype raid44)执行完毕后， 0c.10.0磁盘就从Dparity状态变为Spare状态，可以输入：aggr status查看aggr0的RAID

16、状态是否变为RAID45)然后在StorageDisksManage下可以看见NAS3600B下aggr0中有2块spare（c0.10.00，c0.10.06，计划把c0.10.06盘划给NAS3600A）6)在FilerUser Command Line，输入命令： disk assign 0c.10.6 -s unowned 把c0.10.06磁盘的所有关系从NAS3600B变为unowned7)用Web浏览器登陆到NAS3600A节点：http:/10.189.61.47/na_admin8)在FilerUser Command Line，输入命令： disk assign 0c.10

17、.6 -o NAS3600A 把c0.10.06磁盘的所有关系从unowned变为NAS3600A9)在FilerUser Command Line，输入命令： aggr add aggr0 -d 把从NAS3600B分过来的c0.10.06磁盘和其他8块处于unowned的磁盘加入aggr0聚合10)在VolumesManage中选择vol0，重新修改vol0的卷大小（resize storage按键）11)选择VolumesAdd，创建共享数据卷vol1，创建步骤如下（图片与实际数据有差异）： 选择卷类型：Flexible（厂家建议） 保持卷名为vol1（可自定义），本项目需要中文支持，L

18、anguage选项选择“Simplified Chinese（GBK）”，不选择UFT-8编码（如果操作系统语言环境支持UTF -8编码，此处也可以选择） 选择新卷所在磁盘聚合（注意：实际NAS3600A只有1个磁盘聚合aggr0，只能选aggr0），空间保证选择volume。 卷大小类型选Total Size，卷大小设为最大容量（Max）减1（实际输入3.37TB），snapshot空间设为0%（在该卷上关闭snapshot功能，以省出数据空间） 提交新卷创建查看并修改vol1的qtree属性，因为本项目要求vol1同时对Unix和Windows客户端提供服务，所以在vol1的“Style”

19、项上选择“Mixed”： 经过以上步骤设置后，NAS3600A最终的数据空间达到3.38T，实际结果如下图： NAS3300为单控制器（节点）不需要调整存储空间，直接参照NAS3600的配置步骤7开始配置。4、在NAS3600A上创建CIFS网络文件系统：1)选择CIFS Setup Wizard：2)设置CIFS所在节点名称：NAS3600A3)权限设置选工作组模式下的NT Local User4)设置工作组名称，这里选择windows默认的WORKGROUP5)选择多协议：Multi-Protocol6)提交CIFS设置7)提交后结果8)在CIFSSharesManageAdd Share

20、中创建CIFS共享点：（注意：实际Share Name=cifs Mount Point=/vol/vol1，其他为空）9)设置访问该卷的用户首先在命令行界面下运行：useradmin user add -g 添加1个访问用户 passwd 设置或修改密码然后在CifsSharesManage下添加该用户，使其可以访问目标卷：本项目没有创建新用户，直接采用NAS系统管理员帐号administrator，密码：cqmc123ctg12310)在Windows XP客户端上测试CIFS，创建1个网络磁盘驱动器W，指向10.189.61.47的cifs共享点12)可以在CIFSSharesManag

21、es下修改/vol/vol1的访问属性（Change Access）：5、在NAS3600A上创建NFS网络文件系统1）、NFS Licence激活以后，每创建1个新卷，系统会自动生成1个NFS共享点，但是需要做修改，本项目需要修改/vol/vol1的Options2）鼠标点击/vol/vol1的Options，出现以下页面：3）、修改需要导出的卷，本项目是/vol/vol1：4）、设置匿名用户的ID号（就是Unix系统用户的ID号），本项目选择采用root用户对NFS进行访问控制，所以，选择ID号“0”（root用户默认ID号）5）、设置可以访问该NFS的主机IP地址，限制网络访问本NFS（

22、用户可根据实际需要设置，初始配置是允许所有主机访问）6）、选择NFS的安全机制：7）、提交设置内容：6、在NAS3600和NAS3300之间创建Snapmirror1)用Web浏览器登陆到NAS3300节点：http:/10.189.61.49/na_admin（创建2个节点的snapmirror关系，一定要在备份节点上进行配置）2)选择SnapMirrorAdd：NAS3300上用来备份的卷为vol1，需要备份的节点为NAS3600A，该节点上需要备份的卷为vol13)选择SnapMirrorEnable/Disable，启动Snapmirror4)选择SnapMirrorManage，察看

23、状态为未初始化（uninitialized）5)选择VolumesManage，选择vol1卷，点击Restrict按键对vol1执行restrict操作。6)在FilerUser Command Line，输入以下命令打开NAS3300对NAS3600A的Snapmirror访问许可7)用Web浏览器登陆到NAS3600A节点：http:/10.189.61.47/na_admin，在FilerUser Command Line，输入以下命令打开NAS3600A对NAS3300的Snapmirror访问许可8)回到NAS3300节点，选择SnapMirrorManageAdvanced，点击

24、Initialize（注意：初始化时间长短与卷上原有数据大小有关）9)初始化完毕后，选择SnapMirrorManage察看结果7、重要补充1：NFS和CIFS用户权限一致性映射由于Windows用户和Unix用户需对同一个对象（文件和目录）进行各种操作（创建，修改，删除），所以本项目要求在Unix和Windows下的用户必须具有权限一致性。本项目Cifs采用NAS系统自带的administrator用户（注意：不是客户端的），NFS采用匿名方式，但由于指定了ID=0，所以NFS下对象所属用户为root；但是administrator创建的对象所属用户为65534，所以必须把root和admi

25、nistrator权限一致性化，才能保证对对象的各种操作的正确性，在命令行下执行如下指令： options wafl.nt_admin_priv_map_to_root on 执行该命令后，在Unix下可以发现，windows客户端和unix客户端创建的对象都属于root用户，权限一致。8、重要补充2：Snapmirror备份策略和NAS3600宕机后的处理及恢复 Snapmirror是在2台以上的NAS N系列存储上实现数据快速备份和恢复的机制。NAS 主存储在每一个周期，定时向备份存储copy本时间段数据的变化（snapshot，异步方式），一旦主存储出现故障无法访问，用户可以将应用重新定

26、向到备份存储，保障应用正常运行。主存储恢复后，可以通过反向的Snapmirror，把主存储宕机期间的数据变化从备份存储copy到主存储，最后，改正Snapmirror的方向，恢复如初。以本项目为例：1）、正常情况下：主存储（NAS3600A，10.189.61.47）对外提供服务（R/W，此时AIX和Windows客户端都访问此存储）；备份存储（NAS3300，10.189.61.49）从主存储备份数据（每分钟一次），可以对外提供只读服务（注意：与主存储相比，内容的更新有至少1分钟以上延迟）2）、主存储出现故障：应用无法访问数据，同时Snapmirror无法正常工作，此时，先登录到NAS330

27、0上，在命令行下执行：snapmirror break NAS3300:vol1，暂停Snapmirror并自动开启NAS3300上的“写”访问权限。确定备份存储可正常读写后用户需自己在应用上把存储位置重定向到备份存储的IP地址，应用恢复运行。3）、主存储故障恢复：此时，备份存储与应用在线运行，备份存储的数据比主存储新，不能简单恢复Snapmiorror关系，否则主存储的老数据会覆盖备份存储的新数据，主存储宕机期间的数据丢失。正确的操作步骤是：在NAS3600上执行snapmirror resync -S NAS3300:vol1 NAS3600A:vol1，在NAS3600上逆转Snapmi

28、rror的方向，从NAS3300上同步数据到NAS3600A把应用上存储位置重定向到NAS3600A的IP地址（此时，用户不能访问NAS3300，对NAS3600A只读，防止数据不同步）在NAS3300上执行snapmirror update -S NAS3300:vol1 NAS3600A:vol1，确保NAS3300上的最新数据被同步到NAS3600A上在NAS3600A上执行snapmirror break NAS3600A:vol1，暂停snapmirror功能并自动打开NAS3600A上的“写”访问权限（此时，应用对NAS3600A可正常读写）在NAS3300上执行 snapmirror resync NAS3300:vol1，恢复原来的Snapmirror关系。 至此，NAS存储系统恢复完毕。