GAD双活存储集群方案.docx

1、GAD双活存储集群方案技术方案建议书需求分析根据现状分析，本次项目的核心建设要点有以下4点：1) 高性能，高扩展性，且可保证数据以及应用安全的存储设备鉴于XXXX的存储使用情况和未来的业务发展，需要高性能，高扩展性（如存储产品的容量与端口等），高可靠性的企业级高端存储设备作为南方中心整体存储方案的支撑。2) 需要单一存储设备故障不影响业务生产，即双活存储集群技术XXXX对存储的要求不仅仅是能保证单套存储设备的可靠性，而且要保证在极端情况下，单一存储设备故障时，不会影响关键业务的生产，此外，即使在单套存储设备故障时，另一节点的双活存储的性能也需能够高效支撑业务，因此双活存储需采用相同的配置，以保

2、证在单套存储出现灾难时，另一套存储可以以同样的性能支撑南方中心的业务。双活存储集群在写数据时是需要两套存储均确认写入成功才会执行下一写操作的，因此必须考虑双活存储集群技术对业务性能的影响。随着两套存储之间距离的增大，数据写入延时越长，因此，建议双活存储集群应在同一个数据中心中以保证业务性能。3) 必须满足长期规划，以实现双活基础上的远程容灾保护即使已经实现了双活存储集群，但由于两个存储在一个机房楼里，仍然无法避免整个数据中心灾难所带来的影响。因此，还必须在双活的基础上实现远程数据容灾保护的功能，以保证在灾难发生时仍有可用数据快速恢复业务生产。4) 数据迁移由于南方中心的核心业务系统是从北京中心

3、拆分出来的，需要将北京中心的部分现有数据迁移到南方中心。因此，本项目必须提供一套可行的、完善的、风险系数最低的数据迁移方案，为南方中心业务系统的部署和上线运行打好基础。根据分析，本项目需要实施数据迁移的IT环境中具有如下特点： 操作系统多样性：整体环境中主机包括AIX、Windows、Linux、ESX等各种操作系统，服务器涉及多个品牌； 数据格式的多样性：数据的存放主要以Oracle数据库为主，有RAC和主备等多种形式的集群，另外还有主机文件系统，NAS文件系统等； 数据量大：数十TB规模的数据需要迁移到南方中心新购存储； 环境限制：距离远、网络带宽有限；这些特点都表明了数据迁移的复杂性，也

4、对数据迁移的方法提出了挑战。因此数据迁移方案的选择和设计重点考虑以下要点： 迁移方案应重点考虑数据初始化，即如何成功、快速的将数据从北京中心迁移到南方中心； 迁移方案重点考虑与应用、操作系统、数据库的无关性，尽量通过更底层的技术，如备份恢复、数据库复制、存储复制等，这样可有效降低数据迁移的复杂性；总之，数据迁移应考虑采用一个有效的方法来面向不同数据库、操作系统、服务器的各种应用的迁移，且迁移过程尽量缩短数据初始化的时间，完成南方中心的快速部署和上线运行。总体技术解决方案方案拓扑示意图及简要说明在明确项目建设目标，经过调研和分析，建议方案设计如下图所示：上图中紫色字体的部分是本次项目投标提供的S

5、AN网络及存储设备。方案说明： SAN网络层在SAN网络层面，方案采用两套Brocade 6520交换机作为SAN交换网络，形成双冗余连接，避免因单台交换机故障导致的存储业务中断。由于南方中心与北京中心之间的远程连接为IP网络，因此建议用户考虑增加FC/IP路由设备，用以实现南方中心与北京中心之间的远程FC SAN路由连接，为基于存储的远程容灾复制提供链路支持。（注：该设备未包含在本方案存储设备供货清单中） 存储层方案采用两套HDS最高端的存储设备VSP G1000为南方中心的业务系统提供高性能、高可靠的支撑服务，且采用安全级别最高的“双活存储集群”来实现两套VSP G1000的设备级冗余故障

6、切换，单套VSP G1000停机不会影响业务的运行，无须任何人为干预，业务系统能够连续不停机的对外服务。此外，方案中还采用一套HDS中端存储设备HUS130，既可以为网管、监控等业务系统提供支撑服务，也可当作VSP G1000双活存储集群的仲裁节点使用。 主机层考虑到系统可靠性，服务器应安装两块独立的HBA卡，分别连接到两台Brocade 6520交换机，形成冗余链路。HDS VSP G1000自带HDLM动态多路径管理软件，可以安装在服务器操作系统中，用于管理路径负载均衡和故障路径自动切换。方案优势简要说明1) 高可靠性、高性能、高扩展性： VSP G1000高端企业级存储，采用多控制器架构

7、冗余设计，具有极高的可靠性。 与此同时，VSP G1000的性能也非常出色，其上一代产品VSP公开发布的SPC-1测试结果为60万IOPS，而VSP G1000预估IOPS可以达到200万以上。 扩展性方面：VSP G1000最大支持2304块磁盘，192个前端口，2TB缓存，能够充分满足未来的业务发展需求。2) 双活存储集群方案 由两套VSP G1000存储共同提供业务支撑服务，在任意一套存储出现严重故障（如断电等）无法工作时，业务系统能够继续运行，无须任何人工干预操作。在一套存储出现严重灾难时，单套存储仍可保证的业务的高效运行，实现RTO=0，RPO0的高可靠业务连续性方案和数据安全方案。

8、 两套存储的配置完全相同，在一套存储故障时，剩余的单套存储仍可以提供相同的业务处理速度，不会降低服务水平。3) 可实现双活基础上的远程容灾保护 VSP G1000能够与北京中心实现远程容灾复制，从而实现北京中心与南方中心之间的数据互备容灾。虽然本项目选择的是利用数据库复制软件实现两中心间的容灾，但根据以往的项目经验，我们仍然建议使用存储级容灾复制功能，对Oracle数据库的Archive Log再做一份副本数据，作为数据库复制软件的补充手段和备用手段，为两中心间的容灾方案提供更全面的技术支撑。4) 可行的、完善的数据迁移方案数据迁移是一个极其复杂的系统问题。如何选择一种可行的、完善的数据迁移方

9、案，应重点从以下几个方面考虑： 容灾复制技术优先 本项目的建设目的就是为了实现南方中心与北京中心之间的远程容灾，因此建议首选容灾复制技术进行数据迁移。只有这样，数据迁移到南方中心并启动业务生产之后，才能够继续保持与北京中心之间的数据容灾复制关系。 其他数据（文件系统、NAS）等，可以考虑采用NFS、FTP等方式迁移到南方中心。在具备条件的情况下（可实现两中心间的FC/IP路由通讯），也可以考虑使用存储系统的复制功能完成两中心间的数据迁移。 电子传输比介质传送更可靠 无论哪种复制技术，都具有非常完善的数据传输机制与校验机制，并且迁移到南方中心的数据可以与北京中心直接建立容灾复制关系。如果带宽条件

10、有限，预估传输时间较长，建议考虑临时增容带宽，以提高初始化复制的处理速度。 介质传输，无论是传送磁盘、磁带、甚至存储设备，都存在极高的数据损坏风险，并且时效性很差，需要再次通过数据复制进行数据更新，过程非常复杂。VSP G1000的高性能、高可靠性、高扩展能力1.1.1 综合说明权威机构Gartner于2014年11月对业界主流高端存储进行了全方位的综合评测，评测项目众多，评分标准细致且科学。最终排名结果显示：VSP G1000排名第一（并列第一的HP XP7是VSP G1000的OEM型号）。Gartner官方网站链接如下：以下图片均为Gartner官方网站的截图： 上图是2014年3月综合

11、排名情况（VSP为VSP G1000的上一代产品），VSP（P9000为VSP的OEM产品）综合排名第一。评测内容包括：管理性、可靠性、性能、快照复制、扩展性、环保特性、多租户与安全、存储效率。上图是2014年11月的综合排名情况，VSP G1000（XP7为VSP G1000的OEM产品）再次综合排名第一。2014年11月OLTP典型数据库应用评测，VSP G1000排名第一。2014年11月OLAP典型数据库应用评测，VSP G1000排名第一。1.1.2 高可靠性整体的存储系统平台分为三个层次，主机层、网络层和存储层。主机层：在数据中心的生产区和交换区的业务系统中，主机主要进行信息处理和

12、数据库运行，在主机端安装HBA卡用于建立数据访问通道。由于主业务系统是典型的OLTP应用，所以应用对数据访问性能的要求非常高，为了满足这一要求，主机端需要多块HBA卡，提供多条数据通道，通过安装HDLM数据通道管理软件，可以提供多通道之间的流量负载均衡，确保高性能的数据访问。另一方面，对于生产系统这样关键的系统，链路的安全性需要得到保证，HDLM同样可以提供数据通道之间的失败切换功能。网络层：SAN网络中网络层是非常关键的一个部分，它负责将主机和存储系统连接在一起，并且提供一个高灵活性、高扩展性的环境，以适应业务系统不断发展带来的主机和存储系统的扩展。在SAN网络设计中，我们采用冗余的网络设计

13、，按照本项目的要求，我们全新配置2台Brocade6520交换机构成冗余FABRIC，为主机和存储系统提供冗余的、可持续发展的连接路径。存储层：存储层或者说整个SAN网络存储系统的核心设备是磁盘阵列，在数据中心存储系统中，我们建议配置两台高端存储设备做同步实现“0”数据丢失的保护；建议采用高性能、高可扩展性、功能强大的磁盘阵列系统VSP G1000通用存储平台。VSP G1000存储平台的出现，完全改变了存储业界的工业标准，致使各个竞争友商的产品又一次处于落后状态。VSP G1000磁盘存储系统是业界唯一可以保证100数据可用性的系统，整个系统采用全冗余的交换式结构设计，没有任何单点故障，双独

14、立供电接口与内部N+1电源模块，冗余散热风扇，RAID技术保护方式，全局动态热备份盘包，多独立Cache板设计，支持镜像写缓存技术，所有缓存都是NVS保护的，保证系统高可靠性和实现724365天不停机运行要求。VSP G1000存储系统也是最易维修的系统。系统的所有部件均支持热插拔和不停机进行更换、扩容和不停机地微码升级。当微码出现问题时可以自动不停机地返回旧版本并可不停机地加入微码的Patch。这种维护特性是经过广大用户证实有效的技术，也是用户选择VSP G1000的原因之一。1.1.3 高性能VSP G1000虚拟存储系统是业界性能更高的多控制器企业级存储系统。其内部结构采用高性能、无瓶颈

15、的全交换结构，如上图。前端控制器（CHA）、后端控制器（DKA）、数据缓存cache控制器多部分组成通过系统内部交换系统（核心为HDS专利技术交换芯片）连接组成无阻塞的高速数据交换网络，提供I/O数据交换的多路由和高速的数据交换；前端（CHA）、后端（DKA）、控制缓存组成了点到点的网络结构，用于传输I/O和cache的控制信息，上述结构是目前业界最先进的存储结构设计；同时VSP G1000虚拟存储系统采用全局的数据检索技术和处理机制，保证了数据CACHE中的数据高速检索和CACHE命中效率，获得全世界各权威咨询与评估机构的高度评价，并被公认为是目前业界最高性能和最好的扩展性的存储系统。下图为

16、权威评测机构SPC（Storage Performance Council）官方网站截图，分别显示了VSP G1000的上一代产品VSP，与Huawei公司18800的SPC-1测试结果。虽然VSP最高60万IOPS，略低于Huawei 18800最高100万IOPS。但在平均响应时间方面，VSP（毫秒）却较Huawei 18800（5毫秒）的表现要出色5倍以上。换言之，在相同的I/O压力情况下，Huawei 18800的读写处理时长会是VSP的5倍，也就意味着业务操作的等待时间是VSP的5倍。VSP：60万IOPS，平均响应时间毫秒。SPC官方网站链接 18800：100万IOPS，平均响应

17、时间毫秒。1.1.4 SPC官方网站链接：数据来源：高扩展性VSP G1000磁盘存储系统采用了全光纤的交换体系结构的设计，保证了系统的极大的扩充能力，系统内部最大可以扩充到2304块磁盘，内部最大扩充裸容量可以达到8PB，通过虚拟化云的扩展可以达到256PB。系统的数据CACHE最大可以扩充到2000GB。VSP G1000系统的前端通道最大为192个8Gb光纤通道接口。与此同时，VSP G1000在设备扩展的灵活性方面作出了巨大的努力，允许扩展机柜与控制机柜分开摆放，以解决机房空间紧张的问题，其他最大连接距离可达100米。此外，VSP G1000还可以通过内置的存储虚拟化功能，将其他符合F

18、C SAN标准的磁盘阵列虚拟化整合进来，形成一个统一的存储资源池，其最大规模可以扩展到256PB。双活存储集群的技术优势1.1.5 VSP G1000的GAD双活存储集群VSP G1000具有的GAD双活存储集群功能，存储真正成为了一个虚拟设备，不再依赖于具体的物理设备，类似于服务器的虚拟化一样，成为了一个存储资源池；在存储物理设备更新换代的过程中，虚拟的存储设备永远在线，业务永远在线，不会因为一台设备故障造成业务中断。GAD双活存储集群功能，可以将来自两台VSP G1000的磁盘逻辑卷整合为一个虚拟卷交给服务器，服务器的写操作会被自动镜像写入到两台VSP G1000中，形成数据镜像保护，同时

19、服务器的读操作会被自动分发到两台VSP G1000中的一台执行，从而提高数据的读取速度。通过这种“双写双读”的数据处理方式，VSP G1000能够轻松的依靠内置功能实现 “双活存储集群”，如下图所示：两台VSP G1000上的逻辑卷可以被整合成为统一的虚拟卷标示符，从主机看来如同来自不同路径的同一个逻辑卷，底层的数据双写和双读操作则由GAD软件控制完成。这种技术使得主机的存储资源可以在两节点的VSPG1000上同时运行，在单台VSP G1000出现故障时，主机逻辑卷不需要人工干预进行切换，另外一台VSP G1000上的逻辑卷可以持续提供服务，极大的降低了业务运行的风险，避免了出现故障时需要大量

20、时间人工恢复业务的风险。本方案中推荐两套VSP G1000采用完全相同的配置，目的是在一套存储出现灾难时，另一套存储可以以同样的性能高效的支撑整个业务中心的运行，使得整体存储性能始终保持在一个相同的水平。1.1.6 GAD双活存储集群的基础VSMVSP G1000的GAD双活存储集群功能，其基础功能是VSP G1000创新的存储虚拟机Virtual Storage Machine(VSM)。VSP G1000创造性地将虚机的概念引入存储，在一台物理存储内允许用户按照业务和应用的要求定义多个Virtual Storage Machine(VSM), VSM与一台存储类似，具备自己的存储ID，设备

21、序列号和端口WWN，通过VSM的定义，能够有效提高存储资源利用率，并实现最大的架构、业务的灵活性。 VSP G1000通过VSM实现了GAD功能，GAD（Global-Active Device ）是利用VSP的虚拟控制器功能来实现VSP G1000的水平扩展和设备双活（业务全部在线）。VSP G1000未来可以实现8台VSP G1000的横向扩展能力。如上图所示，主机识别LUN是通过控制器ID来识别，VDKC是VSP G1000上虚拟出来的一个虚拟控制器，它可以将多台存储底层的物理控制器虚拟成同一个控制器，这样主机通过虚拟控制器访问后端磁盘资源时始终和一个控制器ID交互，无论后台存储如何变化

22、，主机都不会有感知，从而实现了业务永远在线，双活等特性。 如上图所示，GAD能实现双活数据中心，应用数据在两端同时写入2台存储，另外还需要一个quorum设备做仲裁判断，仲裁盘可以是VSP G1000内部磁盘，也可以是通过VSP G1000虚拟化的外部磁盘。部署后应用层面由Cluster进行高可靠连续性保护，数据层面有GAD进行高可靠连续性保护。双活数据中心在数据读取时可以分开读取，即本地主机读取本地存储数据，降低延时，提升应用响应速度。1.1.7 GAD与其他厂商双活集群技术的对比GAD是目前业界唯一的，通过存储内置功能实现的双活存储集群解决方案。其他厂商则通过增加虚拟化及双活网关的方式实现

23、类似功能。这两种技术方案的主要区别如下（以VSP G1000+GAD 对比 EMC VPLEX+VMAX为例）：指标与特性VSP G1000GADEMC VPLEX + VMAXHuawei VIS6000+18000IBM SVC+DS8800前端端口最大192个FC接口，冗余设备不影响存储最大32个FC接口，任何一个端口坏掉都会引起VPLEX控制器重启最大双活卷64000个16000个体系架构分布式交换架构高端存储，GAD为内置软件，双活方案不增加任何软硬件层VMAX 40K是8个中端存储的堆叠, VPLEX是多增加的一层PC架构的虚拟化层I/O写操作流程与存储同步复制技术流程相同增加VP

24、LEX缓存写入环节，I/O处理速度大幅下降I/O读操作流程与存储同步复制技术流程相同增加VPLEX缓存读取环节，I/O处理速度大幅下降管理控制器存储内部集成单独增加一对PC管理服务器及交换机组成管理网络双存储间的网络连接SAN网络互通即可SAN互通以外，额外多出一对管理IP网络，网络管理复杂统一管理存储软件实现VPLEX, VMAX分开管理，VMAX的设置变化需要VPLEX重启三中心容灾不需引入其他的产品或架构需要加入Recover point，改变现有架构下图为EMC VPLEX的部署架构示意图：每个 VPLEX 群集都有一对专用本地 IP 子网，它们将控制器连接到管理服务器。其中一个子网上

25、的链路丢失将导致某些成员不能与此子网上的其他成员通信。如下面图：虽然有网络冗余配置，但从上图可以看出VPLEX集群引入了一对PC服务器。集群间的网络连接复杂，可能引起整个系统的故障。包含两个或更多引擎的VPLEX群集还需要多搭配一对光纤通道交换机，提供光纤通道连接来支持群集内的控制器间通信。由此可以看出VPLEX的集群连接非常复杂，而且低级的故障点很多。而利用VSP G1000的先进的GAD技术，在实现双活存储的同时，可以最大化的简化系统架构，系统没有因为要实现双活存储增加任何额外的层和故障点。现有核心SAN存储与新购存储的无缝集成VSP G1000与XXXX现有的USP-V、VSP技术完全兼

26、容，能够实现VSP G1000与USP-V、VSP之间的远程容灾复制，从而实现南方中心与北京中心之间的数据容灾保护。虽然本项目选定了数据库复制软件进行远程容灾，但我们仍然为南方中心的VSP G1000配置了少量的容灾复制软件许可，通过VSP G1000与USP-V、VSP之间的容灾复制技术，对数据库的Archive Log进行异地容灾复制，作为数据库复制软件的后备手段，提供更全面的容灾保护。除了数据库以外，南方中心还会有部分其他数据需要复制，如文件系统等，这些数据无法通过数据库复制软件传输，因此也可以利用存储之间的复制功能进行远程容灾保护。在未来的下一步规划中，我们建议将南方中心的VSP G1

27、000与北京中心的USP-V、VSP之间的复制功能全部打开，通过底层存储对两中心的所有数据进行容灾复制保护，以保证数据库与文件系统的一致性，进一步提高容灾数据的可用性。关键线路连接示意图下图为GAD双活存储集群的关键线路连接示意图。其中，两台VSP G1000之间的GAD Pair采用光纤直连，两台VSP G1000到HUS130仲裁存储之间也同样采用光纤直连。为了保证系统冗余度，各直连线路均为2条以上。如果光纤交换机端口充足，也可以考虑使用交换机来连接GAD Pair以及仲裁存储。为了保证系统冗余度，所有链路均应为2条以上，并分别通过不同交换机连接。此外，VSP G1000、HUS130、H

28、NAS4060各自对主机提供服务的FC接口和10Gb IP接口，均需按照传统模式连接到FC交换机及10Gb以太网交换机。同样的，为了保证系统冗余度，所有链路均应为2路以上，并通过不同交换机连接。连接架构如下图所示： 存储虚拟化整合规划VSP G1000存储特有的存储虚拟化功能可以将基于FC的IBM、EMC、HDS、HP等主流存储公司的光纤存储整合为一个整体，为数据中心向“云”转化提供统一的、可灵活调配的存储资源池。VSP G1000磁盘存储系统通过存储虚拟化的技术，可以实现将不同厂商的存储系统集合到同一个存储池中。VSP G1000存储平台内部的资源为内部存储资源，与之相连的其它存储设备上的资

29、源是外部资源。通过该功能，可以使用统一的管理平台实现对内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看，内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统本身的数据复制和数据迁移软件来完成。VSP G1000 外部连接的存储系统进行虚拟化的独特功能，可为异构存储创建单一的异构存储池。这可以简化存储管理、提高利用率和效率，改善服务水平、简化数据迁移，并可帮助企业满足监管达标要求。异构存储虚拟化架构示意图VSP G1000通过异构存储虚拟化的技术，可以使用统一的管理平台实现对VSP G1000内部和外部存储

30、资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看，VSP G1000内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统VSP G1000本身的数据复制和数据迁移软件来完成。同样的，这些被虚拟化整合进来的外部存储均能够使用VSP G1000的独有功能，例如快照、克隆、GAD双活存储集群，3DC闭环容灾复制等等。也就是说，未来如果用户的其他项目采购了其他品牌的存储设备，同样可以利用VSP G1000的先进技术，实现更高级别的数据保护和更高效的数据管理功能。通过VSP G1000存储分区技术可以对VSP G1000进行逻辑

31、划分，可以多个逻辑虚拟存储系统（VSM）。每个虚拟存储系统都拥有独立的主机通道端口、CACHE、磁盘等资源。在VSP G1000和与之相连的外部存储设备中，通过逻辑分区功能可以使得应用系统的需求和分配给该应用的资源得到合理的调度和匹配，从而保证应用服务质量。远程容灾规划1.1.8 选用HUR异步复制技术远程容灾技术中主要有两种选择。 同步数据复制技术 数据实时同步没有数据丢失，但是应用系统能容忍的同步距离有限制（容灾存储越远性能越差），不能抵御区域性的灾难，如大面积的自然灾害，区域性停电等，与本次项目中容灾的规划不符，因此不采用。 异步数据复制技术数据实时异步复制，异步复制距离没有限制，能抵御区域性的灾难，对生产存储性能影响小，但也正是由于采用异步数据复制，灾备中心数据有数据丢失（链路足够宽时，RPO可无限接近于0，但不能绝对等于零）。由于条件有限，本项目的远程容灾必须采用异步数据复制技术。VSP G1000的异步数据复制功能采用的是业界最先进的，基于日志卷的远程容灾复制技术（HUR）。1.1.9 HUR异步复制软件的工作原理HUR复制软件采用基于磁盘日志文件的技术，可以保证远程数据的一致性和完整性，同时，极大的降低了存储系统CACHE和通信链路带宽的需求。HUR的原理如下图所示：图：HUR远程数据复制软件 磁盘日志卷HUR远程数据复制软件利用“磁盘日志卷”进行待