adapter存储方案设计.docx

1、adapter存储方案设计数据存储系统设计方案建议书第一章 概述1、 规划概述与需求分析随着计算机信息技术发展的速度越来越快，各企业通过统一平台传输、交换数据。而原有的分散存储体系结构和容量负载都无法满足信息迅猛增长对存储系统高容量高性能高可用性的要求；在这种背景下我们提出的新一代存储平台建设就是要对现有的存储资源进行整合，建立以数据为中心，分布处理、集中管理的存储体系；同时采纳SAN/NAS结构，分离业务网络和数据存储网络，最大限度地发挥整个系统的性能，主要包括： 数据集中存储规划 远程数据备份规划 SAN规划方案 存储资源管理方案 移动存储备份方案新一代存储规划是跨平台、开放性的整体存储网

2、络环境。2、 存储体系总体规划数据集中要求存储系统能够提供极高的性能和容量，必须采用先进的智能型企业存储设备，来解决这一问题。我们认为问题核心是建立一个良好的存储子系统，本方案以存储区域网（SAN）为核心技术，由于考虑到不同存储设备的性能和互操作性问题，建议采用业界主流和最先进的存储系统产品。从该项目存储要求来看，存储系统应能达到要求如下：1、 网络系统的数据存储统一集中；2、 存储系统应具有高容量和高稳定性；3、 存储系统应具有易操作易维护的特点，实现集中监控和管理；4、 存储系统应支持管理员对存储空间的灵活分配和配置；5、 存储系统应具有高度的安全性和完善的权限控制；6、 存储系统应具有高

3、可靠性和安全性；7、 存储系统应具有进程保护功能且重启时间短；8、 存储系统应支持多种协议、操作系统、数据库系统；9、 存储系统可进行高效的灵活管理；10、 存储系统应具有模块化设计并支持热插拔；11、 存储系统的容量应易于扩展；12、 存储系统中的数据可进行数据备份，并支持主流的备份格式；13、 备份保存的数据能完整恢复；14、 存储系统主备设备间实现实时切换，延迟时间不超过五秒；15、 存储系统具有最优化的投资配置和最优服务；数据吞吐量计算：（略）针对以上存储规划要求，我们在存储系统规划设计方面充分考虑了当前存储技术的发展和完善程度，下面对多种存储解决方案都作了详细阐述；第二章 存储技术介

4、绍早期的存储系统是计算机系统的一部分，大多以存储设备形式出现。计算机系统可以通过总线连接到磁盘，或者通过输入/输出系统与磁盘系统相连，这时计算机基本上是以单机方式工作的。随着网络的发展，数据的存储也逐渐由单机向多机方式和专用机发展，数据的共享与传递也逐渐从依赖主机系统向依赖网络系统发展。当前，在大型企业应用安装数十台服务器已经很常见。但过于分散的数据资源，会给访问和管理带来困难。因此，数据存储问题备受关注。存储系统大致可以分成三种类型： 直接依附存储系统(Direct Attached Storage, DAS)DAS又称为以服务器为中心的存储体系。其特征为存储设备是通用服务器的一部分，该服务

5、器同时提供应用程序的运行。数据的输入/输出由服务器负责，数据访问与操作系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时，响应会变慢。在网络带宽足够的情况下，服务器本身成为数据输入/输出的瓶颈。当前绝大多数存储系统都属于这种类型。 网络依附存储系统(Network Attached Storage, NAS)这种存储方式多采用专用数据服务器。该服务器不再承担应用服务，称之为“瘦服务器”（Thin Server）。数据服务器通过局域网的接口与应用服务器连接。由于采用局域网上通用数据传输协议，如NFS，CIFS等，所以能够在异构的服务器间共享数据，这一点在Windows和UNI

6、X混合环境下是十分重要的。NAS也是一种集中化数据存储形式，便于维护和管理。 存储区域网络(Storage Network Area)SAN采用高速数据连接通道-光纤通道(Fiber Channel, FC)连接服务器和存储系统。从结构上看，服务器和数据存储系统相互独立。将设备连接到FC集线器或交换机上，便于扩展系统规模。在SAN中，所有的存储设备和存储数据均可采用中心化管理，使得整个存储系统具有可伸缩性。并且，可以通过存储设备的集群方式而达到高可用度。从软件角度看，上述三中类型存储系统的体系结构是不一样的，如下图：在DAS中，应用与存储是一体化的，通过系统总线访问存储设备；NAS是应用与存储

7、分离的系统，应用服务器通过局域网（LAN）访问文件存储系统，通常NAS以标准化访问协议（如NFS）提供服务；在SAN中，文件系统与存储系统完全分离，存储系统实际上成为运行应用程序的服务器设备，二者以高速FC连接。中心化数据存储系统是企业信息资源建设的发展趋势。而集中化管理有助于减少维护费用并提高效率。2NAS技术与系统构成NAS的结构是一网络为中心、面向文件服务的，它采用集中化、高密度、统一管理的方式，应用服务器将NAS视作网络文件系统，通过标准局域网或广域网访问NAS。由于NAS采用TCP/IP等协议提供NFS、CIFS等服务，因而可以适配异构服务器，例如Windows NT或UNIX等，尤

8、其对于Windows 和UNIX的混合系统具有良好的亲和力，无论是服务器或客户均可通过NAS获取数据。另外，NAS采用专用服务器，一般可以支持多个I/O节点和网络接口，每个I/O节点都有自己的盘组和磁带设备。采用这种方式，可以有效地扩大访问带宽，避免形成单服务器接口的带宽瓶颈。在NAS中服务器与存储系统独立，一台NAS可以支持多个通用应用服务器。3 SAN技术与体系结构SAN的存储结构比较特殊，其核心是FC，存储设备与服务器通过HBA（Host Bus Adaptor）、光缆、FC集线器或FC交换机连接。客户则通过局域网访问服务器。在存储设备之间交换数据时，可以不通过局域网。数据存储系统与服务

9、器之间通过FC实现多对多（ANY-TO-ANY）连接。采用高带宽FC，可以避免大流量数据传输时发生阻塞和冲突，特别适合高速和不间断数据传输。4 NAS和SAN技术比较基于NAS、SAN的存储系统都是完全独立的，不存在与服务器之间紧密的、依赖性物理硬连接，都可以构造中心化的数据存储系统，都具有良好的扩充能力，数据共享能力，都可实现中心化的数据管理，通过冗余的硬件配置和软件支持都能安全可靠的保护数据。所以，二者都能满足IDC存储系统的基本要求。在扩展能力方面，SAN通过多个FC交换机的级联，理论上可连接几十万个设备，要优于NAS。另外，在性能方面，NAS的系统访问能力受限于LAN的速率和服务质量，

10、而SAN采用光纤技术，能提供高达1Gb/s的速率。但从具体的系统实施来讲，NAS也有自己非常明显的优势。 结构简单，易于实现。只需将NAS文件服务器连接到LAN，进行简单的配置即可实现数据共享。而SAN至少要在每台服务器上安装一块HBA及其驱动程序，当服务器数量较多时，还要添加FC交换机，网络布线和系统配置都较复杂。 初期投资较少。除了NAS文件服务器本身，存储系统几乎不需购买其他任何设备。而SAN在HBA和FC交换机上的投资往往与磁盘阵列柜本身相当。 扩展方便。 易于实现多个局域网的存储共享。SAN为用户带来什么首先，管理上的方便性，集中式管理软件允许远程配置、监管和无人值守运行；第二，可扩

11、展性，容量可扩展以符合网络需求，在不影响LAN性能的情况下充分发挥存储硬件的功能；第三，容错能力、高可靠性和高可获性，SAN就绪的磁带库具备可热插拔的冗余磁带机、介质、电源和冷却系统以确保可靠性；第四，配置的灵活性，具备长达20公里距离的远程功能以及灵活的网络部件，基于光纤通道的SAN可以根据要求进行配置；第五，支持异构服务器，UNIX、NT和NetWare服务器可同时连接；第六，能够有效地减少总体拥有成本(TCO)。 SAN允许用户能够对备份作业进行集中式的管理，从而使管理变得更为简便，备份资源的利用率也更高。如果集中备份的安装无法实现，SAN解决方案还能提供集中管理分配备份资源的能力。这种

12、灵活性可将当前实施的系统移植到管理性更好的配置，并可在将来需要时对系统进行 SAN的架构 从物理角度上来看，典型的SAN环境应包括4个主要组成部分：最终用户平台，(如桌面和/或瘦客户机),服务器,存储设备和存储子系统,互连设备。在SAN中，最终用户平台可与光纤连接并可直接访问存储设备。其中SAN就绪存储子系统采用SAN方案除了需要具有FC连接性以外还有一些对存储子系统的特别要求。首先是高可获性，由于存储是集中式的，这些存储系统必须具备极高的可靠性和可获性。虽然系统可以设计得具有高可靠性，但是部件仍然可能发生故障。冗余部件则可确保高可获性。系统设计也应允许故障部件的热插拔，这样在进行维护的时候就

13、不会影响系统的正常运行。第二是远程管理性。理想情况下，通过支持标准网络管理协议如SNMP以及可以提供运行在网络上的管理工具，设备应可提供远程管理。有一种专用管理端口称为带外管理，是大多数网络设备比较倾向的方法。利用带外管理，在存储系统运行同时与其通信不会产生问题；数据接口的故障也不会影响管理工具访问该系统。第三是可扩展性，SAN就绪存储子系统应在容量和性能方面具有可扩展性以配合网络上日益增加的数据量。 SAN的互连设备是通过高带宽光纤通道连接的。光纤通道连接是为满足SAN中共享存储环境所需的高带宽主干网。光纤通道(FC)是当今主干网首选，它已经成为SAN接口的工业标准。其允许实质上无限制的设备

14、数量(服务器和存储系统)互相连接。对所有组成SAN的部件的第一个要求是都具有FC连接性。对服务器，即意味着安装FC主机总线适配卡以及兼容设备驱动程序。对诸如RAID或磁带库等存储子系统，即意味着支持FC或是直接支持或是通过FC至SCSI桥(可将传统的SCSI设备连接到SAN上)。 光纤通道网络即指在服务器和存储设备之间是使用光纤通道进行设备的互连。FC连网可以有几种形式。最简单的互连是通过FC集线器。较为复杂的配置是通过光纤通道交换机。交换机是一种多端设备允许任意多对多连接。具备FC交换机，每个连接均可获得每秒1Gbit带宽。 从逻辑角度上来说，SAN是由软件而非硬件拓扑结构来定义的。一个SA

15、N的逻辑运行要求有应用程序和管理工具的参与，这些工具能够对许多主机系统中的存储资源进行管理。这种逻辑管理体系结构包括从数据管理应用程序到设备管理在内的几个层次，还必须包括每一层中的管理控制。 SAN管理软件，SAN需要通过网络进行集中或远程的管理，即需要管理工具或一整套工具软件。通常，每个可管理FC设备的厂商都会提供各自专用的软件来管理其特有的设备。理想的方案是单一的端对端管理应用程序来管理SAN上所有的设备。这样的一个工具应该基于业界标准协议如SNMP。 SAN应用软件根据存储类型RAID、磁带库、光盘库使用不同的应用软件。以磁带库为例， 最常用的应用是网络备份/恢复。当今大多数主要应用软件

16、供应商都在致力于对SAN进行支持。对应用软件而言没有业界标准，所以很重要的一点是确保存储子系统和网络硬件全部兼容。 SAN的产品用户选择的SAN光纤通道磁盘阵列产品，它应该具有稳定的性能和高速的I/O吞吐能力，还应该具有与主机系统的互联性和可扩展性。在具体产品的选择上，各个厂家均有一些解决方案。Adaptec公司的DuraStor磁盘阵列产品为用户提供了自由方便地升级、管理和容错功能，而且在使用效果及整体性能配合上表现相当出色，实施起来比较成功。对于交换设备，目前国际上主流的交换设备各有所长，如Gadzoox、Vixel和Brocade等。在主机平台上，SAN技术支持开放式服务器，用户选择余地

17、较大，如Sun、HP和Compaq等。 在设计SAN解决方案时，互联性是一个关键性问题，由于SAN在互联性上尚未达成完全统一的标准，因此，厂商之间必须对各种硬件产品的互联提供认证，即要求这些产品在同一SAN体系下必须相互兼容。在一些不成功的案例中，相当一部分原因在于对互联性考虑不足，比如磁带库系统与磁盘阵列系统的互联性、磁盘阵列系统与主机系统的互联性等。 在选择好硬件平台后，人们会对系统的性能有许多要求，比如对存储信息的管理性能要求高、需要恢复系统的响应速度快等，所以需要在这些平台上配置相应的高性能系统软件，以确保平台内所有应用都是安全且高效的。此外，还有一些对系统性能的其他要求，如数据库管理

18、能力是否强大、备份系统能否优化及能否实现高速备份等，Veritas、CA、Legato公司提供了相应的解决方案。它们能够为网站提供从工作组到企业级服务器上所有数据的保护，即可为Windows NT、Unix和NetWare环境提供全面的数据保护，用户通过直观的图形界面便可管理数据备份与恢复方面的所有操作。值得注意的是，硬件系统必须支持构建SAN所需的软件系统，因为其支持程度的高低直接影响到整个系统的可行性。所以，在构建SAN环境时，恰当选用软硬件显得尤为重要。 SAN适用的环境 当希望能得到集中化的存储，并要求较低的管理成本时，SAN是理想的解决方案。对于SAN来说，文件的共享不是主要问题，而

19、重要的是存储的可靠性。在几种情况下SAN是比较适用的，当存储系统被直接连接到应用服务器上，且能够在服务器间共享；存储系统可在中央或远程地点管理；有高带宽能处理与服务器相连系统中包括的数据库应用、群件应用；集中式存储必须提供高可获性和数据可靠性。 第三章 存储方案简介一、 存储方案结构图SAN系统结构图该方案结构图介绍如下：1. 用两套配置单控制器的SANbloc 2501组成存储系统，可实现硬件RAID 0，1，3，5等。2. 在服务器与存储设备之间通过光纤交换机构成SAN系统，以提供更好的扩展性。3. 在主控部分，可支持将来升级为有两个核心支持热插拔的RAID控制器完成冗余，这样即使有一个控

20、制器发生故障，另一个控制器也能自动接管工作，并可实现在线更换发生故障的控制器。4. 容量最大可扩展到16TB.关于SAN内部多集群主机共享的要求，我们建议采用以下方式来实现； 在上图中，通过基于磁盘阵列的数据存取控制功能软件，采用LUN-Masking的方式，分配多个storage group, 并指定给不同主机或主机群；在本系统中，两台数据库服务器共享一个逻辑磁盘空间，而两个不同的应用服务器集群分别分配了两个和三个逻辑磁盘空间，这样就充分保证了不同应用的主机共享一个磁盘存储系统，并且在SAN内部实现各个不同应用之间互不影响，提高了整体性能，也真正减轻了用户系统管理和数据 管理的负担。方案特性

21、1. 使用硬件RAID技术，不占用服务器资源，更大幅度提升系统性能；2. 系统RAID部分完全由Adaptec SANbloc完成，与服务器无关，可提供后台数据重建等功能3. 每个控制器内置两个2Gb光纤接口,无须外接HUB可实现Clust4. 系统无单点故障5. 可同时支持70个并发访问及每秒10万个IO访问量6. 支持146GB 10kRPM 硬盘，单柜系统最大可扩充到16T7. 可提供4组2G FC主机通道8. 可提供800MB/sec数据回写缓存总线带宽9. SANbloc支持Cache Mirror技术10. 支持多重报警方式：SAF-TE、声音告警、网络消息、远程呼叫及E-mail

22、报警等。SANbloc存储系统简介产品设计原则SANbloc产品的设计原则包括以下六点： 模块化设计保护用户投资 使用维护简单清晰 数据保存安全可靠 高性能数据处理 系统扩展能力强 广泛支持各类平台和应用技术实现SANbloc的设计原则在其产品中得到了充分的体现。 模块化设计保护用户投资SANbloc系列产品基于Adaptec公司独特的FSA（弹性存储架构）技术，完全采用模块化设计。不仅便于用户按需求灵活选择配置，而且在系统建设初期，数据量不大的情况下，用户可以只采购与目前实际容量相当的存储系统，日后随着系统容量的增加，随时可以实现在线的容量扩展和系统升级。在信息技术高速发展，产品价格变动频繁

23、的今天，这种配置方式极大的保护了用户的投资有效性。与其他同类产品的模块化设计相比，Adaptec公司的FSA技术将模块化思想实现得更加细致。SANbloc系列产品中，不仅将基本处理单元与容量扩展单元模块化分离，而且将RAID控制单元、内部磁盘环路单元、机箱箱体、散热单元以及供电单元都进行模块化分离。使SANbloc系列的各种型号产品之间零配件通用性和兼容性增强。正是基于最大程度保护用户投资的思想，FSA技术在模块化的细致和完善程度上，远远的超过了其他同行业厂商的产品及方案。FSA技术所提供的通用性和兼容性，并不会给升级扩展后的系统带来性能的损失。Adaptec公司在设计每一个产品系列之初，就全

24、面的考虑的每一款产品型号的升级空间和扩展能力。从而在每一个技术环节上，都充分保留的升级和扩展空间。从而保证单一模块的升级不会受其他模块的性能瓶颈所限制。SANbloc系列产品支持两种监视和配置方式。一种是通过光纤连接进行监视和配置，另一种是通过标准RS232串行通讯端口进行监视和配置。通过这两种方式，SANbloc系列产品完全支持各种Unix、类Unix和Windows系列操作系统。真正实现了平台无关的管理维护。当使用光纤连接进行监视和配置时，SANbloc系列产品完全兼容支持业界广泛使用的Mylex GAM阵列管理工具。在大多数Windows环境中，系统管理员只需使用通用的Mylex GAM

25、软件，即可对SANbloc系列产品进行全面的设置和配置管理。针对目前Mylex GAM工具的平台限制问题。Adaptec公司在提供SANbloc系列产品的同时，还随机提供了Spheras Storage Manager管理软件。这一管理软件完全基于浏览器界面，并支持远程管理方式和集中式管理方式，彻底解决了Mylex GAM的平台限制问题。在Unix环境中，SANbloc系列产品也可以实现在线的设置和配置管理。在一些非常规环境中，SANbloc的串行通讯端口配置方式是其管理方式的一个重要补充。通过这种方式，SANbloc系列产品不仅实现了在所有开放平台上都可以进行在线配置管理，而且一劳永逸的摆脱

26、了对各种操作系统平台依赖和系统版本升级的影响。由于具有了串行通讯端口管理方式，用户完全可以随时升级、重新安装甚至更换操作系统，而完全不必担心SANbloc产品的管理配置问题。 数据保存安全可靠在SANbloc系列产品中，数据被以多重机制和多种方式保护着。在各个方面和各个层次上，SANbloc产品都设计了相应的冗余度和纠错机制。在系统总体结构方面，SANbloc产品采用了全冗余的系统设计。供电模块、散热模块、磁盘组、内部磁盘环路、外部主机通道，完全采用冗余热交换设计，在保证全系统无任何单点故障的同时，也保证了系统出现任何故障，都可以不停机的进行坏损件更换。在缓存保护方面，SANbloc产品不仅采

27、用了具有高度纠错能力的ECC内存作为高速缓存，而且设计了双控制器之间的写缓存镜像机制。保证写缓存中数据的安全性和一致性。后备电池与控制器分离，是体现SANbloc产品数据安全性的独特设计之一。一般而言，维持缓存数据不丢失的后备电池都被设计在控制器上。这种设计在一般情况下并不会给系统带来问题。但是当双控制器中的一个控制器，由于故障或其他原因，需要在线更换时，由于新更换的控制器上的电池一般还没有充电，所以系统在一段时间内会出现“写缓存单点故障”这一极大的安全隐患。而在SANbloc产品中，因为后备电池与控制器物理分离，更换控制器不会影响到电池的正常工作，所以完全避免了控制器更换过程中可能出现的单点

28、故障问题。SANbloc产品不仅在系统内部提供了一系列的冗余保护机制，在主机连接方面也提供的冗余保护功能。配合SANbloc系列产品工作的Multi-Path软件，就提供了SANbloc存储系统与主机间的高可用连接方式。在Multi-Path软件的管理下，主机可以通过多个光纤通道适配器连接SANbloc存储系统，正常工作时多通道负载均衡的分担数据流量，当其中一个链路出现故障时，Multi-Path软件将故障链路的负载重定向到其他链路中，保证了系统的安全性和连续性。 高性能数据处理作为高端的企业级产品，SANbloc2502采用主频为600MHz的Intel Xscale RISC中央处理器，配

29、置128MB处理器内存和4MB闪存,其每秒处理的I/O可达100,000次，最高带宽为360MB/s，是目前最快的阵列产品之一。SANbloc的缓存动态分配技术，进一步提高了数据缓存的工作效率。一般而言，阵列控制器中的数据缓存都分为读缓存和写缓存。在实际环境中，由于读写操作不可能时刻保持均衡稳定的比例，读写缓存分离势必会造成一部分高速缓存无法被利用，从而造成系统资源的严重浪费。而在SANbloc2501产品中，系统可以根据环境需求，随时调整读写缓存的分配比例，最大限度的保证了高速缓存的效率。这就是配置有1GB缓存的SANbloc产品比配置有更大缓存的同类产品性能还出众的原因之一。与其他同类产品

30、的另一个主要区别在于，SANbloc产品中，高速缓存的预读取、写入、回写等智能机制，都是针对系统中的逻辑设备进行的。而绝大多数同类产品，则是简单的针对磁盘数据块进行操作。这一机制使SANbloc产品的中央处理器，只需要进行很少量的计算，就可以大批的处理缓存数据。这一机制在提高缓存命中率的同时，降低了中央处理器的工作负荷。这就是SANbloc产品比配置有更高档次中央处理器的同类产品性能更高的原因之一。 系统扩展能力强SANbloc系列产品采用标准机架尺寸设计生产，单磁盘扩展箱体高度为3U，内含14个光纤通道接口热交换磁盘位。每系统满配置可扩展到8个箱体，即在24U的高度内可容纳112个光纤通道接

31、口热交换磁盘位。在目前所有磁盘阵列产品中，SANbloc是容量密度最大的产品之一。SANbloc支持多系统级联，在超大型存储系统中，SANbloc可以通过级联扩展，从而进一步提高系统容量和数据处理能力。与同类产品不同的是，SANbloc系列产品支持两种系统扩展方式：在系统容量要求提升的情况下，SANbloc2501可以级联SANbloc2101进行容量扩展，SANbloc2502可以通过级联SANbloc2102进行容量扩展；而当系统的数据处理能力要求增加时，多台SANbloc2501或SANbloc2502之间可以进行级联扩展，在增加存储容量的同时，增加系统的数据处理能力。通过简单的更换环路

32、控制单元和阵列控制器模块，SANbloc2501产品可以无缝的升级到具有更强处理能力和更多附件功能的SANbloc2502产品。而且升级过程中，系统中的数据信息都可以完整保留。SANbloc系列中的2Gb光纤通道产品（SANbloc2502和SANbloc2102），支持独特的四通道工作模式。即在SANbloc2502和SANbloc2102产品中，内部磁盘通道最多可以达到四个，这更进一步增强了系统的扩展和升级能力。 广泛支持各类平台和应用SANbloc系列产品通过标准光纤通道协议连接，广泛支持各种主机光纤适配器和光纤交换机，支持FC-AL和FC-SW接入方式。经测试验证，可在所有主流操作系统平台下正常稳定运行，并支持所有主流数据库系统和高可用集群系统软件。Intel： Windows NT