GAD双活存储集群方案.docx

1、GAD双活存储集群方案技术方案建议书目 录第章需求分析 3第章 总体技术解决方案 52. 方案拓扑示意图及简要说明52.方案优势简要说明 2.31 综合说明 72.3.2 高可靠性3.4 高扩展性1224双活存储集群的技术优势 1.1 VP G100的GAD双活存储集群13.3 D与其他厂商双活集群技术的对比 152.5 现有核心SAN存储与新购存储的无缝集成1.6 关键线路连接示意图 72. 存储虚拟化整合规划 18.1选用HUR异步复制技术12.2 UR异步复制软件的工作原理 202.8 HUR异步复制软件与友商的技术对比说明 22第章 数据迁移解决方案3.1 数据迁移概述23.1.1迁移

2、目标3.1.2数据迁移相关因素233.2 数据迁移方法论 43.1 迁移评估设计阶段 43. 迁移实施阶段 6.3 数据迁移技术的选择 273.31 可选的数据迁移技术273.3.2 推荐数据迁移方案2需求分析根据现状分析，本次项目的核心建设要点有以下4点：1)高性能,高扩展性,且可保证数据以及应用安全的存储设备鉴于XX的存储使用情况和未来的业务发展,需要高性能，高扩展性(如存储产品的容量与端口等)，高可靠性的企业级高端存储设备作为南方中心整体存储方案的支撑。2)需要单一存储设备故障不影响业务生产,即双活存储集群技术XXX对存储的要求不仅仅是能保证单套存储设备的可靠性,而且要保证在极端情况下,

3、单一存储设备故障时,不会影响关键业务的生产，此外,即使在单套存储设备故障时，另一节点的双活存储的性能也需能够高效支撑业务，因此双活存储需采用相同的配置，以保证在单套存储出现灾难时,另一套存储可以以同样的性能支撑南方中心的业务。双活存储集群在写数据时是需要两套存储均确认写入成功才会执行下一写操作的，因此必须考虑双活存储集群技术对业务性能的影响。随着两套存储之间距离的增大，数据写入延时越长，因此，建议双活存储集群应在同一个数据中心中以保证业务性能。3)必须满足长期规划,以实现双活基础上的远程容灾保护即使已经实现了双活存储集群,但由于两个存储在一个机房楼里，仍然无法避免整个数据中心灾难所带来的影响。

4、因此，还必须在双活的基础上实现远程数据容灾保护的功能,以保证在灾难发生时仍有可用数据快速恢复业务生产。4)数据迁移由于南方中心的核心业务系统是从北京中心拆分出来的,需要将北京中心的部分现有数据迁移到南方中心。因此,本项目必须提供一套可行的、完善的、风险系数最低的数据迁移方案，为南方中心业务系统的部署和上线运行打好基础。根据分析,本项目需要实施数据迁移的环境中具有如下特点:操作系统多样性：整体环境中主机包括AIX、Winows、Lx、E等各种操作系统，服务器涉及多个品牌；数据格式的多样性:数据的存放主要以Ocl数据库为主，有C和主备等多种形式的集群,另外还有主机文件系统,AS文件系统等；数据量大

5、：数十TB规模的数据需要迁移到南方中心新购存储；环境限制：距离远、网络带宽有限;这些特点都表明了数据迁移的复杂性，也对数据迁移的方法提出了挑战。因此数据迁移方案的选择和设计重点考虑以下要点:迁移方案应重点考虑数据初始化，即如何成功、快速的将数据从北京中心迁移到南方中心；迁移方案重点考虑与应用、操作系统、数据库的无关性，尽量通过更底层的技术,如备份恢复、数据库复制、存储复制等,这样可有效降低数据迁移的复杂性;总之，数据迁移应考虑采用一个有效的方法来面向不同数据库、操作系统、服务器的各种应用的迁移,且迁移过程尽量缩短数据初始化的时间，完成南方中心的快速部署和上线运行。总体技术解决方案方案拓扑示意图

6、及简要说明在明确项目建设目标,经过调研和分析，建议方案设计如下图所示：上图中紫色字体的部分是本次项目投标提供的SA网络及存储设备。方案说明：SN网络层在AN网络层面,方案采用两套Brocad 6520交换机作为SN交换网络,形成双冗余连接,避免因单台交换机故障导致的存储业务中断。由于南方中心与北京中心之间的远程连接为P网络，因此建议用户考虑增加C/I路由设备,用以实现南方中心与北京中心之间的远程FC SA路由连接，为基于存储的远程容灾复制提供链路支持。(注:该设备未包含在本方案存储设备供货清单中)存储层方案采用两套HDS最高端的存储设备VS G1000为南方中心的业务系统提供高性能、高可靠的支

7、撑服务,且采用安全级别最高的“双活存储集群”来实现两套S G100的设备级冗余故障切换，单套VSP G1000停机不会影响业务的运行,无须任何人为干预,业务系统能够连续不停机的对外服务。此外，方案中还采用一套HD中端存储设备HUS130，既可以为网管、监控等业务系统提供支撑服务，也可当作S G00双活存储集群的仲裁节点使用。主机层考虑到系统可靠性,服务器应安装两块独立的HB卡，分别连接到两台Brocad6520交换机，形成冗余链路。HDS VSP G00自带DLM动态多路径管理软件，可以安装在服务器操作系统中,用于管理路径负载均衡和故障路径自动切换。方案优势简要说明1)高可靠性、高性能、高扩展

8、性：VSP G000高端企业级存储,采用多控制器架构冗余设计,具有极高的可靠性。与此同时，VPG100的性能也非常出色，其上一代产品VSP公开发布的P-1测试结果为6万IOPS，而VSP G100预估IOP可以达到00万以上。扩展性方面:VS 100最大支持234块磁盘,192个前端口,TB缓存，能够充分满足未来的业务发展需求。2)双活存储集群方案由两套VP G1000存储共同提供业务支撑服务,在任意一套存储出现严重故障（如断电等)无法工作时,业务系统能够继续运行，无须任何人工干预操作。在一套存储出现严重灾难时,单套存储仍可保证的业务的高效运行，实现RT=0，RPO0的高可靠业务连续性方案和数

9、据安全方案。两套存储的配置完全相同,在一套存储故障时，剩余的单套存储仍可以提供相同的业务处理速度,不会降低服务水平。3)可实现双活基础上的远程容灾保护VSP G100能够与北京中心实现远程容灾复制,从而实现北京中心与南方中心之间的数据互备容灾。虽然本项目选择的是利用数据库复制软件实现两中心间的容灾,但根据以往的项目经验，我们仍然建议使用存储级容灾复制功能，对Orale数据库的Archive Lo再做一份副本数据，作为数据库复制软件的补充手段和备用手段，为两中心间的容灾方案提供更全面的技术支撑。4)可行的、完善的数据迁移方案数据迁移是一个极其复杂的系统问题。如何选择一种可行的、完善的数据迁移方案

10、，应重点从以下几个方面考虑：容灾复制技术优先本项目的建设目的就是为了实现南方中心与北京中心之间的远程容灾,因此建议首选容灾复制技术进行数据迁移。只有这样，数据迁移到南方中心并启动业务生产之后，才能够继续保持与北京中心之间的数据容灾复制关系。其他数据(文件系统、NA)等,可以考虑采用NFS、FP等方式迁移到南方中心。在具备条件的情况下(可实现两中心间的FC/IP路由通讯），也可以考虑使用存储系统的复制功能完成两中心间的数据迁移。电子传输比介质传送更可靠无论哪种复制技术，都具有非常完善的数据传输机制与校验机制,并且迁移到南方中心的数据可以与北京中心直接建立容灾复制关系。如果带宽条件有限，预估传输时

11、间较长，建议考虑临时增容带宽,以提高初始化复制的处理速度。介质传输，无论是传送磁盘、磁带、甚至存储设备，都存在极高的数据损坏风险，并且时效性很差,需要再次通过数据复制进行数据更新,过程非常复杂。VSP G100的高性能、高可靠性、高扩展能力1.1.1 综合说明权威机构Gartner于214年1月对业界主流高端存储进行了全方位的综合评测,评测项目众多,评分标准细致且科学。最终排名结果显示：S 000排名第一(并列第一的H XP7是SP G00的OEM型号)。Gatne官方网站链接如下：t：/www.garr.cmtechnl/reprints.do?id=1-1O1Z&ct=1410&s=以下图

12、片均为Grtner官方网站的截图： 上图是2014年月综合排名情况（S为VP G000的上一代产品)，SP（900为VSP的OE产品）综合排名第一。评测内容包括:管理性、可靠性、性能、快照复制、扩展性、环保特性、多租户与安全、存储效率。上图是14年月的综合排名情况，VS G1000（X7为 100的OM产品)再次综合排名第一。21年1月OLT典型数据库应用评测,SPG1000排名第一。2014年11月OLP典型数据库应用评测，VSPG10排名第一。1.1.2 高可靠性整体的存储系统平台分为三个层次,主机层、网络层和存储层。主机层:在数据中心的生产区和交换区的业务系统中，主机主要进行信息处理和数

13、据库运行,在主机端安装HB卡用于建立数据访问通道。由于主业务系统是典型的OLT应用，所以应用对数据访问性能的要求非常高，为了满足这一要求，主机端需要多块HBA卡,提供多条数据通道,通过安装DL数据通道管理软件，可以提供多通道之间的流量负载均衡，确保高性能的数据访问。另一方面，对于生产系统这样关键的系统,链路的安全性需要得到保证,HL同样可以提供数据通道之间的失败切换功能。网络层:SA网络中网络层是非常关键的一个部分，它负责将主机和存储系统连接在一起，并且提供一个高灵活性、高扩展性的环境,以适应业务系统不断发展带来的主机和存储系统的扩展。在AN网络设计中，我们采用冗余的网络设计，按照本项目的要求

14、,我们全新配置2台ocde65交换机构成冗余FABR，为主机和存储系统提供冗余的、可持续发展的连接路径。存储层:存储层或者说整个SAN网络存储系统的核心设备是磁盘阵列,在数据中心存储系统中,我们建议配置两台高端存储设备做同步实现“0”数据丢失的保护;建议采用高性能、高可扩展性、功能强大的磁盘阵列系统VSPG10通用存储平台。SP G100存储平台的出现,完全改变了存储业界的工业标准,致使各个竞争友商的产品又一次处于落后状态。VP G1000磁盘存储系统是业界唯一可以保证10数据可用性的系统，整个系统采用全冗余的交换式结构设计,没有任何单点故障，双独立供电接口与内部N+电源模块，冗余散热风扇,R

15、AID技术保护方式，全局动态热备份盘包,多独立Cach板设计，支持镜像写缓存技术,所有缓存都是V保护的，保证系统高可靠性和实现72465天不停机运行要求。VS1000存储系统也是最易维修的系统。系统的所有部件均支持热插拔和不停机进行更换、扩容和不停机地微码升级。当微码出现问题时可以自动不停机地返回旧版本并可不停机地加入微码的atc。这种维护特性是经过广大用户证实有效的技术，也是用户选择SP1000的原因之一。1.1.3 高性能VS G1000虚拟存储系统是业界性能更高的多控制器企业级存储系统。其内部结构采用高性能、无瓶颈的全交换结构，如上图。前端控制器(CA)、后端控制器（K)、数据缓存cac

16、he控制器多部分组成通过系统内部交换系统(核心为HDS专利技术交换芯片）连接组成无阻塞的高速数据交换网络，提供I/O数据交换的多路由和高速的数据交换;前端(HA）、后端(DKA）、控制缓存组成了点到点的网络结构,用于传输/O和cche的控制信息，上述结构是目前业界最先进的存储结构设计;同时VSP G10虚拟存储系统采用全局的数据检索技术和处理机制,保证了数据CHE中的数据高速检索和AC命中效率，获得全世界各权威咨询与评估机构的高度评价,并被公认为是目前业界最高性能和最好的扩展性的存储系统。下图为权威评测机构SP(Sorage Perfrmnc Council)官方网站截图，分别显示了SG000

17、的上一代产品VS,与uai公司10的SP测试结果。虽然VSP最高60万OPS,略低于uawei1880最高100万OP。但在平均响应时间方面，VSP（.25.毫秒)却较Hawi800（.5-5毫秒）的表现要出色5倍以上。换言之，在相同的I压力情况下,uwe 18800的读写处理时长会是SP的5倍,也就意味着业务操作的等待时间是VS的倍。S:万IOPS，平均响应时间0.25-0.毫秒。SPC官方网站链接http:/wwwstgeperormance.rg/ncmark_reslts_file/SPC-1/hd/A016_Hachi-VSFlasa0136Hitahi_VSPHA_S-1execu

18、tive-smay_revin1pdfHuawei1880:100万IOP,平均响应时间.55毫秒。SP官方网站链接:数据来源:ht:/www.soraeperfrmaneorg/bnchmar_reslts_fe/SPC-/Huae/A0010_uaweOcenStor-800a014_uawieanStor-8800_SPC-1_executive-suaryr.d1.1.4 高扩展性VSP 100磁盘存储系统采用了全光纤的交换体系结构的设计，保证了系统的极大的扩充能力,系统内部最大可以扩充到2304块磁盘,内部最大扩充裸容量可以达到8PB,通过虚拟化云的扩展可以达到56PB。系统的数据A

19、CHE最大可以扩充到200GB。P G0系统的前端通道最大为192个8Gb光纤通道接口。与此同时,VSP 00在设备扩展的灵活性方面作出了巨大的努力,允许扩展机柜与控制机柜分开摆放，以解决机房空间紧张的问题，其他最大连接距离可达10米。此外，VSP G10还可以通过内置的存储虚拟化功能,将其他符合SAN标准的磁盘阵列虚拟化整合进来,形成一个统一的存储资源池,其最大规模可以扩展到25P。双活存储集群的技术优势1.1.5 SP 000的GAD双活存储集群VSP1000具有的GAD双活存储集群功能,存储真正成为了一个虚拟设备,不再依赖于具体的物理设备,类似于服务器的虚拟化一样，成为了一个存储资源池;

20、在存储物理设备更新换代的过程中，虚拟的存储设备永远在线，业务永远在线，不会因为一台设备故障造成业务中断。GA双活存储集群功能,可以将来自两台 G000的磁盘逻辑卷整合为一个虚拟卷交给服务器,服务器的写操作会被自动镜像写入到两台VSP 100中,形成数据镜像保护,同时服务器的读操作会被自动分发到两台V G00中的一台执行，从而提高数据的读取速度。通过这种“双写双读”的数据处理方式，S G000能够轻松的依靠内置功能实现 “双活存储集群”,如下图所示:两台 1000上的逻辑卷可以被整合成为统一的虚拟卷标示符,从主机看来如同来自不同路径的同一个逻辑卷，底层的数据双写和双读操作则由GA软件控制完成。这

21、种技术使得主机的存储资源可以在两节点的VSP1000上同时运行，在单台VP G0出现故障时,主机逻辑卷不需要人工干预进行切换,另外一台V 100上的逻辑卷可以持续提供服务,极大的降低了业务运行的风险,避免了出现故障时需要大量时间人工恢复业务的风险。本方案中推荐两套VPG10采用完全相同的配置,目的是在一套存储出现灾难时，另一套存储可以以同样的性能高效的支撑整个业务中心的运行，使得整体存储性能始终保持在一个相同的水平。1.1.6 GAD双活存储集群的基础SMVSP00的GAD双活存储集群功能,其基础功能是VP G1000创新的存储虚拟机Virual StogMahine(VSM）。VSP G0创

22、造性地将虚机的概念引入存储,在一台物理存储内允许用户按照业务和应用的要求定义多个Vrtual Strage achine（SM), S与一台存储类似，具备自己的存储D，设备序列号和端口WW，通过VSM的定义，能够有效提高存储资源利用率,并实现最大的架构、业务的灵活性。 G1通过SM实现了GA功能,GAD（Goa-Active Dvic ）是利用SP的虚拟控制器功能来实现VPG1000的水平扩展和设备双活（业务全部在线）。VS 00未来可以实现8台VP G100的横向扩展能力。如上图所示，主机识别U是通过控制器ID来识别,VDKC是VSPG100上虚拟出来的一个虚拟控制器,它可以将多台存储底层的

23、物理控制器虚拟成同一个控制器,这样主机通过虚拟控制器访问后端磁盘资源时始终和一个控制器D交互,无论后台存储如何变化，主机都不会有感知，从而实现了业务永远在线,双活等特性。 如上图所示,GAD能实现双活数据中心,应用数据在两端同时写入2台存储,另外还需要一个quor设备做仲裁判断,仲裁盘可以是VSPG100内部磁盘,也可以是通过 G100虚拟化的外部磁盘。部署后应用层面由ue进行高可靠连续性保护，数据层面有GAD进行高可靠连续性保护。双活数据中心在数据读取时可以分开读取，即本地主机读取本地存储数据,降低延时,提升应用响应速度。1.1.7 GD与其他厂商双活集群技术的对比GA是目前业界唯一的,通过

24、存储内置功能实现的双活存储集群解决方案。其他厂商则通过增加虚拟化及双活网关的方式实现类似功能。这两种技术方案的主要区别如下(以P G1000+GAD 对比 EMCVPLEXVMAX为例)：指标与特性VSP G1000GADEMCLEX + VMAawei I600+0I SVC+DS8前端端口最大19个接口，冗余设备不影响存储最大3个FC接口,任何一个端口坏掉都会引起VPX控制器重启最大双活卷640个000个体系架构分布式交换架构高端存储，GAD为内置软件,双活方案不增加任何软硬件层VMA 4是个中端存储的堆叠, VPX是多增加的一层PC架构的虚拟化层I/O写操作流程与存储同步复制技术流程相同

25、增加VPLX缓存写入环节,I/O处理速度大幅下降I/O读操作流程与存储同步复制技术流程相同增加PLEX缓存读取环节，I/O处理速度大幅下降管理控制器存储内部集成单独增加一对PC管理服务器及交换机组成管理网络双存储间的网络连接SAN网络互通即可SAN互通以外，额外多出一对管理IP网络,网络管理复杂统一管理存储软件实现LX, VMX分开管理,MA的设置变化需要VPEX重启三中心容灾不需引入其他的产品或架构需要加入Recoer pit,改变现有架构下图为EMC VLX的部署架构示意图：每个 VPLEX群集都有一对专用本地 IP 子网,它们将控制器连接到管理服务器。其中一个子网上的链路丢失将导致某些成

26、员不能与此子网上的其他成员通信。如下面图：虽然有网络冗余配置，但从上图可以看出VPE集群引入了一对C服务器。集群间的网络连接复杂，可能引起整个系统的故障。包含两个或更多引擎的VPLX群集还需要多搭配一对光纤通道交换机，提供光纤通道连接来支持群集内的控制器间通信。由此可以看出VPEX的集群连接非常复杂，而且低级的故障点很多。而利用VSP G10的先进的GAD技术,在实现双活存储的同时,可以最大化的简化系统架构，系统没有因为要实现双活存储增加任何额外的层和故障点。现有核心SAN存储与新购存储的无缝集成VS G00与XX现有的USP-V、VP技术完全兼容,能够实现VSP 100与UP-V、VP之间的

27、远程容灾复制，从而实现南方中心与北京中心之间的数据容灾保护。虽然本项目选定了数据库复制软件进行远程容灾，但我们仍然为南方中心的S 1000配置了少量的容灾复制软件许可,通过VSP 1000与US-V、VP之间的容灾复制技术，对数据库的rchiveL进行异地容灾复制，作为数据库复制软件的后备手段，提供更全面的容灾保护。除了数据库以外,南方中心还会有部分其他数据需要复制,如文件系统等，这些数据无法通过数据库复制软件传输,因此也可以利用存储之间的复制功能进行远程容灾保护。在未来的下一步规划中,我们建议将南方中心的VP G1000与北京中心的SP-V、VSP之间的复制功能全部打开,通过底层存储对两中心

28、的所有数据进行容灾复制保护，以保证数据库与文件系统的一致性，进一步提高容灾数据的可用性。关键线路连接示意图下图为GAD双活存储集群的关键线路连接示意图。其中,两台VSP G00之间的GAD Pai采用光纤直连,两台VSP G100到H130仲裁存储之间也同样采用光纤直连。为了保证系统冗余度,各直连线路均为2条以上。如果光纤交换机端口充足，也可以考虑使用交换机来连接GA Pai以及仲裁存储。为了保证系统冗余度，所有链路均应为2条以上，并分别通过不同交换机连接。此外,V G100、HS130、HNAS4060各自对主机提供服务的FC接口和0bIP接口，均需按照传统模式连接到FC交换机及1Gb以太网

29、交换机。同样的，为了保证系统冗余度,所有链路均应为路以上,并通过不同交换机连接。连接架构如下图所示：存储虚拟化整合规划VP G1000存储特有的存储虚拟化功能可以将基于C的IBM、EC、HS、等主流存储公司的光纤存储整合为一个整体，为数据中心向“云”转化提供统一的、可灵活调配的存储资源池。SP G100磁盘存储系统通过存储虚拟化的技术,可以实现将不同厂商的存储系统集合到同一个存储池中。VSP G100存储平台内部的资源为内部存储资源，与之相连的其它存储设备上的资源是外部资源。通过该功能，可以使用统一的管理平台实现对内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看,内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统本身的数据复制和数据迁移软件来完成。SP G100 外部连接的存储系统进行虚拟化的独特功能，可为异构存储创建单一的异构存储池。这可以简化存储管理、提高利用率和效率，改善服务水平、简化数据迁移，并可帮助企业满足监管达标要求。异构存储虚拟化架构示意图S100通过异构存储虚拟化的技术，可以使用统一的管理平台实现对SP G100内部和外部存储资源的统一管理,统一分配，可以按照应用系统的性能