五种业界主流存储双活架构设计方案特点对比分析.docx
《五种业界主流存储双活架构设计方案特点对比分析.docx》由会员分享，可在线阅读，更多相关《五种业界主流存储双活架构设计方案特点对比分析.docx（31页珍藏版）》请在冰豆网上搜索。
五种业界主流存储双活架构设计方案特点对比分析
五种业界主流存储双活架构设计方案特点对比分析
双活数据中心解决方案指两个数据中心均处于运行状态，可以同时承担生产业务，以提高数据中心的整体服务能力和系统资源利用率，实现RPO（RecoveryPointObjective），RTO（RecoveryTimeObjective）严苛的要求，将企业业务系统连续性提升至一个更高的台阶。
目前，端到端双活数据中心解决方案中最核心的技术当属存储双活技术，这也是备受企业关注的双活技术之一，而现有关于存储双活的内容中，普遍都是对存储双活方案的整体概述，以厂商自带的产品为出发点来组织方案内容，很难对企业的存储双活项目实际落地提供有利支持，从而导致项目实施后，容易被厂商绑定。
因此，在本次存储双活方案解析的内容中，笔者将从方案特点、第三站点仲裁、两地三中心扩展、读写性能、故障转移、双活能力等多个角度，公正客观地对业界主流存储双活方案进行整体性详细的解析和对比，涉及华为、EMC、IBM、HDS、NETAPP等五种不同存储厂商的存储双活方案，来帮助企业真正解决存储双活建设的落地难题。
本文将从五种业界主流存储双活方案的方案特点展开解析。
一、华为HyperMetro
1、双活方案概述
华为存储层双活方案基于OceanStor融合存储系统的HyperMetro特性实现。
HyperMetro采用AA双活架构将两套存储阵列组成跨站点集群，实现数据实时镜像。
两端阵列的双活LUN数据实时同步，且两端能够同时处理应用服务器的I/O读写请求，面向应用服务器提供无差异的AA并行访问能力。
当任何一台磁盘阵列故障时，业务自动无缝切换到对端存储访问，业务访问不中断。
2、方案特点
（1）免网关设计：
HyperMetro双活架构无需额外部署虚拟化网关设备，直接使用两套存储阵列组成跨站点集群系统。
最大支持32个存储控制器，即两套16控存储阵列组建双活关系。
（2）I/O访问路径：
HyperMetro在应用主机侧，通过UltraPath主机多路径软件，将两台存储阵列上的双活成员LUN聚合为一个双活LUN，以多路径Vdisk方式对应用程序提供I/O读写能力。
应用程序访问Vdisk时，Ultrapath根据多路径模式，选择最佳的访问路径，将I/O请求下发到存储阵列。
根据双活站点部署距离，HyperMetro提供了两种I/O访问策略供选择。
一是负载均衡模式：
该模式下可实现I/O的跨阵列负载均衡，即I/O以分片的方式在两个阵列上下发。
分片大小可配，例如分片大小为128M，即起始地址为0-128M的I/O在A阵列下发，128M-256M在B阵列下发，以此类推。
负载均衡模式主要应用于双活业务部署在同一数据中心的场景。
在该场景下，主机业务访问两套双活存储设备的性能几乎相同，为最大化利用两套存储设备的资源，将主机I/O按分片方式下发到两套阵列上。
另一种是优选阵列模式：
该模式下，由用户在OceanStorUltraPath上指定优选访问阵列，主机业务访问时，I/O只会在用户设置的优选阵列路径上进行负载均衡下发，不产生跨阵列的I/O访问。
只有当优选阵列出现故障时，才切换到非优选阵列下发I/O。
优选阵列模式主要应用于双活业务部署在距离较远的双数据中心场景。
在该场景下，双活数据中心的跨站点访问的代价较高，假如两个数据中心的链路距离为100km，一次往返传输通常需要消耗约1.3ms时间。
优选阵列模式可以减少跨站点交互次数，从而提升I/O性能。
针对数据读场景，双活数据中心的业务主机只需要读本数据中心对应的双活存储阵列即可，避免主机跨数据中心读取数据，提升整体访问性能。
针对数据写场景，业务主机直接写本数据中心对应的双活存储阵列，避免主机跨数据中心转发数据，充分利用HyperMetroAA双活能力，AA集群的每个控制器都能够接收写I/O，由本地控制器处理本地主机的写I/O请求，减少跨数据中心的转发次数，提升方案整体性能。
（3）存储层组网：
下图为HyperMetro双活方案典型组网架构。
可搭建阵列与主机、双活镜像、同城互联等三类网络，数据网络与业务网络分离；两套双活存储阵列间通信支持FC或IP链路，推荐使用FC链路，但需满足站点间RTT（往返延迟）小于2ms要求。
另外，存储阵列和仲裁服务器之间的链路采用普遍的IP链路。
（4）一体化双活：
该方案下的一套双活设备既支持文件数据服务（FileService），也支持块数据服务（BlockService），能够以NFS文件系统和SAN块存储两种方式提供双活功能；SAN与NAS共用一套仲裁，能够确保两个站点间链路故障时，文件存储和块存储由同一站点提供服务，保障仲裁一致性；SAN与NAS共用一种网络，站点间心跳、配置、数据物理链路合一，一种网络即可满足SAN与NAS传输，并且支持业务网络、站点间网络、仲裁网络全IP部署，组网简单。
（5）存储层数据一致性：
通过I/O双写确保数据一致性，系统正常情况下，任意应用IO数据下发，都要同时写到两台阵列才返回主机，确保两台阵列数据实时一致；具备分布式锁机制（DLM），确保主机对同一存储地址的数据访问时，由其中一台写入，确保数据一致性；单存储不可用时,具备数据差异处理机制，其中一台存储不可用时，仅写正常存储，同时数据变化记录到DCL（DataChangeLog）空间，待阵列修复好后，HyperMetro将自动恢复双活Pair关系，并通过DCL记录的信息，将数据增量写入修复好的存储。
这样的好处是无需全量同步所有数据，整个过程对主机“透明”，不会影响主机业务。
（6）FastWrite技术：
传统通用方案两个站点间的写I/O在传输过程要经历“写命令”和“写数据”两次交互，理论上两站点间距100KM时，将带来2次RTT（往返延时），见下图左；为了提升双写性能，FastWrite技术将“写命令”和“写数据”合并为一次发送，跨站点写IO交互次数减少一半，理论上100KM传输链路仅1次RTT，提升整体写IO性能，见下图右。
（7）跨站点坏块修复技术：
为了提升数据可靠性，HyperMetro具备跨站点自动修复坏块技术，无需人为干预，自动完成修复，业务访问不受影响。
流程如下（见下图）:
生产主机读取存储A数据-->存储A通过校验发现坏块-->尝试通过重构修复坏块，修复失败（若修复成功，则不进行下述流程）-->存储A检查与远端状态“完整”并发起到远端B阵列读取数据-->读取数据成功，返回生产主机正确数据-->使用远端数据修复本端坏块对应的数据。
（8）RAID2.0技术：
存储阵列能够支持多种RAID保护技术，并在此基础之上进一步优化升级，当RAID组中任意硬盘故障，通过RAID2.0技术，能够快速重建RAID，并恢复数据至热备盘，速度相对传统技术大幅提升，降低了多盘失效风险概率。
二、EMCVplex
1、双活方案概述
EMCVplex存储双活方案是基于Vplex网关产品实现，能够将EMC和其他厂商存储异构整合，虚拟化为统一的存储资源池，实现异构存储双活。
Vplex双活方案有VplexMetro和VplexGeo两种方案，方案由两个站点的两套Vplex集群系统组成，每个站点的Vplex集群都有自己专属的本地存储阵列，通过创建分布式镜像卷为跨集群的镜像卷，提供VplexAccessAnywhere功能，两个站点的Vplex集群各有一个卷，两个卷的ID一样。
2、方案特点
（1）集群配置：
如下图所示，每个Vplex集群均包含VplexManagementConsole，一个、两个、四个或八个引擎，每个引擎包含一个备用电源。
VplexLocal用于使用单个Vplex集群管理数据中心内的数据移动和访问。
支持单、双或四配置（分别包含一个、两个或四个引擎），本地Vplex组成Local集群（4引擎8控制器），两站点Local集群再组成Metro/Geo远程集群（最大8引擎，16控制器），形成16个控制节点的AA集群。
（2）同/异步方案：
如下图所示，VplexMetro使用两个包含独特功能的Vplex集群，通过采用写直通缓存（透写）的方式在两个集群之间实时镜像数据，保持后端存储数据的一致性，由于采用实时同步复制，VplexMetro方案需满足站点间RTT（往返延迟）小于5ms的要求。
VplexGeo用于两个远距离应用集群节点异步使用AccessAnywhere访问存储数据，VplexGeo分布式卷使用回写缓存的方式支持AccessAnywhere分布式镜像，该方案最大可支持的站点间RTT（往返延迟）为50ms。
另外，VplexMetro和VplexGeo方案下部署的集群不要求站点间引擎数量完全一致。
（3）存储层组网：
下图为VplexMetro双活方案主机跨集群连接组网架构。
主机与Vplex集群间访问、Vplex集群与后端存储数据传输、Vplex集群间通信网络全部隔离，为保证最高级别的高可用性，每个VplexDirector前端I/O模块和一对SAN光纤交换机之间必须保证2个以上的物理连接，每个主机和每个Vplex引擎的ADirector和BDirector都需要保持一个以上的路径连接，因此主机和一个Vplex引擎间具有8条逻辑路径。
对于每个站点2个、4个引擎的Vplex集群来说，主机连接需要覆盖所有引擎；另外，当主机与本地Vplex集群连接中断时，为保证主机能够跨站点访问另一端Vplex集群，主机需要和其他站点的Vplex集群建立连接，可通过PowerPath多路软件来配置ACTIVE/PASSIVE路径来保证主机优先访问本地的Vplex集群；后端存储阵列通过SAN交换机或者直接连接Vplex引擎的后端IO模块，不需要配置到其他Vplex集群的跨站点连接路径；根据需要选用Witness作仲裁，Witness需部署于两个Vplex集群不同的故障域中（第三方站点），且只能部署于VMware的虚拟化环境，通过IP的方式连接到两个Vplex集群。
（4）分布式一致性缓存技术：
EMCVplex是一个集群系统，提供分布式缓存一致性保证，能够将两个或多个Vplex的缓存进行统一管理，从而使主机访问到一个整体的缓存系统。
当主机向Vplex的一个缓存区域写I/O时，Vplex缓存将锁定这个缓存区域，同一时刻其他主机是无法向这个缓存区域写入I/O的。
但是，当主机读取I/O时，Vplex缓存允许多个主机访问一个缓存区域，尤其是主机访问其他Vplex集群中其他Vplex节点所管理的数据时，统一缓存管理会将这个I/O的具体缓存位置告知主机，主机直接跨Vplex集群访问。
分布式一致性缓存技术在实现上面，并没有强求所有的Cache都保持统一，而是基于卷缓存目录的形式来跟踪细小的内存块，并通过锁的粒度来保证数据一致性。
每个引擎的cache分为本地Cache（CacheLocal）和全局Cache（CacheGlobal），每引擎的本地Cache只有26GB，其余为全局Cache，见下图。
（5）分布式缓存模式：
VplexLocal和VplexMetro采用了写直通缓存模式，当Vplex集群的虚拟卷接收到了主机的写请求时，写I/O直接透写到该卷映射的后端存储LUN（VplexMetro包含两套后端存储LUN）中，后端阵列确认写I/O完成后，Vplex将返回确认信号至主机，完成本次写I/O周期。
写直通缓存模式需要等待后端存储阵列落盘完成，对写I/O时延要求较高。
这种写直通缓存模式并适合VplexGeo方案，该方案最大支持50ms的跨站点往返延迟，采用该缓存模式将对主机产生非常大的性能影响，对于大多数应用而言显然是无法接受的。
因此，VplexGeo采用了回写缓存模式，在该模式下，Vplex收到了主机的写请求后，直接写入引擎控制器的缓存，并将写I/O镜像至引擎另一个控制器和另一套Vplex集群的引擎控制器的内存中，然后向主机确认本次写I/O周期。
最后再将数据异步转储到引擎后端的存储阵列中。
当出现电源故障时，Vplex引擎自带的备用电源能够保证缓存中的所有未持久化的数据暂存到本地SSD存储上。
回写缓存模式无需等待后端存储阵列落盘，即可回响应主机，大幅提升了Vplex双活方案的距离和时延要求。
（6）读I/O加速能力：
具有读Cache，写I/O的机制能对读I/O实现加速。
为了提升读I/O性能，写I/O的时候先判断是否在Local、GlobalCache中有对应的旧数据，如没有直接写入本地LocalCache；如有旧数据，先废除旧数据再写入Local；再通过写直通缓存模式将写I/O刷入两套后端存储阵列（见下图）；最后反馈主机写I/O周期完成，同时GlobalCache中的索引做相应修改，并在所有引擎上共享该信息，实现分布式缓存一致性。
另外，Vplex该机制下的写I/O额外需增加2次跨站点往返延迟（官方宣称引入1-1.6ms延时），在VplexMetro方案下，写直通缓存的基础上，额外又牺牲了一定写I/O性能。
读I/O的时候先读LocalCache，如命中直接读取，读I/O加速效果明显；如果在GlobalCache中命中，则从对应的Vplex引擎Cache中将其读取到LocalCache，再反馈主机读I/O结果，读I/O加速效果次之；如果在GlobalCache中没有命中，则从本地后端的存储阵列中读取到LocalCache中，并同时修改Local和GlobalCache中的信息与索引信息，读I/O加速无效果。
（7）支持CDP技术：
Vplex只提供存储异构虚拟化和镜像两项功能，快照、复制等特性需要添加EMC自身的RecoverPoint实现，所以Vplex的组网方式常常会考虑配合RecoverPoint一起使用。
此外Vplex内部集成I/O分流软件，Vplex将每个主机写I/O同步复制到RecoverPoint，RecoverPoint将每个IO记录下来，采用CDP实现任意时间点恢复。
下图为Vplex双活和Vplex双活+RecoverPointCDP方案的写I/O流程对比，后者将增加写I/O时延，写I/O放大，影响一定的性能。
三、IBMSVC
1、双活方案概述
IBM在SVC存储双活技术上提供了两套不同的方案：
EnhancedStretchCluster和HyperSwap，均是基于虚拟化存储平台之上的Active-Active数据中心的存储双活解决方案，为上层应用提供存储A-A双活或高可用架构，确保存储层的任一组件故障不会对上层应用产生中断影响。
SVCEnhancedStretchCluster也就是SVC拉伸式集群架构，就是把同一SVCI/OGroup内互为保护模式的双节点跨站点进行拉伸，分散在不同的两个数据中心，它们之间通过光纤链路连接，数据通过VdiskMirror技术实时镜像到两个站点上的两个存储上。
SVCHyperSwap相较于SVCESC，它出现的主要目的在于消除本地SVC节点单点隐患，增加主机存储冗余路径，进一步提升SVC双活的高可用性。
通过MetroMirror技术实现数据在两个I/OGroup和两套存储之间的实时同步，同时解决单SVC节点故障引起的性能问题及双节点故障导致数据卷无法访问的问题。
以上两种方案架构均为对称式架构，在第三站点可配置仲裁，以防止脑裂现象发生。
2、方案特点
（1）整体架构：
SVCESC采用Stretched的拓扑架构（下图一），每个站点最少1个节点，两个站点各1套存储，通过SVCVDM保持实时同步，对主机来说只看到一个Vdisk，主机与两个站点的SVC节点均建立连接路径，实现两个站点主机各自读写本地SVC节点和存储，达到存储Active-Active的目的，两个站点的存储网络通过DWDM间的裸光纤级联；SVCHyperSwap采用HyperSwap的拓扑架构（下图二），每个站点最少1个I/OGroup，每个I/OGroup配置两个SVC节点，提升了本地SVC节点的冗余度，两个站点各1套存储，通过SVCMetrolMirror保持实时同步，对于不同站点的主机来说，看到的是不同的LUN，主机与跨站点的两个I/OGroup均建立连接路径，提升了路径冗余度。
（2）光纤链路组网和仲裁：
两种方案均可通过建立Private和Public两种FC网络进行访问隔离，Private网络用于两个SVC节点间或者两组SVCI/OGroupCache间的数据同步和心跳，Public网络用于主机与SVC节点间、SVC节点与存储间的数据传输，两个站点的FC存储网络通过两对跨站点DWDM（波分复用）间的裸光纤进行级联。
仲裁方式上，支持仲裁盘和仲裁服务器两种模式，仲裁盘方式使用FC链路，仲裁服务器方式使用IP链路。
（3）I/O访问路径：
在SVCESC方案下，主机需配置到本站点SVC节点和远端站点SVC节点的I/O路径，以保证在本站点节点出现故障时，主机路径可立即切换至远端站点，访问同一I/OGroup下的其他SVC节点；而在SVCHyperSwap方案下，跨站点的主机访问节点路径属于可选配置，为避免站点所有存储路径失效（APD）场景下RTO过长，推荐配置跨站点的主机访问节点路径。
主机端通过SDDPCM多路径软件，并配置基于ALUA的路径策略，来指明哪个SVC节点是主机的本地节点，避免主机跨站点访问其他SVC节点。
当本地路径未全部失效时，主机将优先访问本站点SVCHyperSwapI/OGroup的PreferredNode。
当本地路径全部失效时，主机将跨站点访问远端SVCHyperSwapI/OGroup，但基于ALUA的路径策略并不能识别远端哪个是SVCPreferredNode，因此ALUA策略将变为Round-Robin，轮询访问远端所有SVC节点的端口。
（4）SVCESC站点感知功能：
两个站点的所有对象均具备站点化属性，包括SVC节点、主机、存储等，淡化了SVCLocal集群下的I/OGroupPreferredNode概念，I/OGroup中的两个节点均是平等的，两个站点的主机对同一Vdisk的访问，可通过同一I/OGroup的两个SVC节点并行访问。
即本地读I/O优化，本地写I/O优化，确保I/O本地化，避免远程I/O访问带来的性能影响。
（5）SVCESC缓存机制特性：
SVC每个节点包含若干容量的缓存，用于实时存放主机I/O数据，减轻了I/O物理落盘带来的性能影响。
SVC放置于主机和存储之间，并没有因此加大主机对存储访问的I/O时延，SVC具有扩展低端存储缓存的效果，一定程度上增强了低端存储的性能；SVCESC的I/OGroup的某个节点故障，另一节点接管，写缓存Disable，进入写直通模式，性能略有下降（对比SVCHyperSwap在站点故障场景下，远端I/OGroup仍有完整的写缓存保护机制，可避免直接进入写直通模式带来的性能下降）；SVCESC的一个I/OGroup，采用一套缓存表，所以能够实现写I/O的锁互斥机制，实现同一Vdisk的两个SVC节点和存储真正双活,并具有主机读写亲和性；当任意SVC节点的电源出现故障时，SVC内置的电池或者外置的UPS模块可持续供电，直至SVC节点内的缓存数据全部刷入后端存储阵列后，再关闭SVC节点。
（6）SVCHyperSwap主从卷机制：
在建立好HyperSwap卷的关系后，两个站点的主机分别映射了Master卷和Aux卷，表示哪个卷正在作为主卷，提供所有I/O服务；具有Master卷的SVCI/OGroup，两个站点所有的读写请求必须经过该I/OGroup，若Master卷的I/OGroup和主机在同一个站点,该站点的主机可以本地读写I/OGroup和后端存储阵列。
若Master卷的I/OGroup和主机不在同一个站点，该站点的主机通过本站点的SVCI/OGroup将请求转发至Master卷所在的I/OGroup，由它来处理读写请求；HyperSwap会自动比较本地读写的I/O流量和读写转发的I/O流量，来决定是否反转Master和Aux的属性。
I/O流量是指扇区的数量而不是I/O数量，在首次创建HyperSwap卷和初始化后，系统自动决定哪个卷为Master。
如果连续10分钟以上，AUX卷的I/O流量（读写转发的I/O流量）大于所有I/O流量的75%，Master和Aux卷的属性将反转，通过该方式可避免频繁反转。
综上特性，在HyperSwap主从卷的机制下，两个站点的主机可以实现本地I/OGroup本地读写，但两套跨站点的存储为ACTVIE-STANDBY模式，Master卷所映射的后端存储阵列为主存储，Aux卷所映射的后端存储阵列为热备存储。
（7）SVC无缝卷迁移技术（NDVM）：
能将虚拟卷迁移到不同的I/OGroup，实现对节点故障做出迅速反应，将面临单点故障的虚拟卷进行批量自动化迁移，使不同I/OGroup不再孤立存在于集群当中，形成多I/OGroup之间的冗余保护（下图左一左二），会对迁移操作的产生的各种风险进行智能分析，保证迁移过程安全可靠。
该技术通过SVC中内置的一个轻量级的应用实现，部署简单，使用方便，系统开销小。
另外，可以通过温备节点快速替换故障节点的方式，快速的将集群恢复正常状态（下图右一）。
四、HDSGAD
1、双活方案概述
HDSVSP系列存储的Global-ActiveDevice解决方案使用独特的Hitachi存储虚拟化操作系统（SVOS）实现，该方案在G系列（G1500、G1000、G800、G600、G400、G200）和F系列（F1500、F800、F600、F400）存储都得到了支持，能够实现全局存储虚拟化、分布式连续存储、零恢复时间和零恢复目标、简化的分布式系统设计和操作。
全局存储虚拟化提供“全局活动卷”。
这些存储卷能够在两个存储或站点对同一份数据的两个副本同时读取和写入。
这种Active-Active的存储设计在Local或metro集群配置中允许两个存储系统同时运行生产工作负载，同时保持完整的数据一致性和保护。
2、方案特点
（1）I/O访问路径：
如下图所示，GAD采用Active-Active架构，支持主从阵列同时读写，所有I/O写操作都是先写主LUN后写从LUN；通过原厂HDLM多路径软件来配置优选路径，可以支持本地优先读写策略，G1000之后版本支持ALUA功能，自动识别本地站点的优选路径，同时也兼容主流OS的第三方多路径；当本地路径全部故障时（APD场景），主机将通过StandBy路径继续跨站点访问远端存储。
通常主从站点支持100KM距离，支持FC/IP复制链路，支持8条物理路径和阵列主机交叉组网。
在VSPG1000、VSPG1500、VSPF1500之后的版本，最大支持500KM（RTT往返时延20ms）的SAN双活；最大支持32仲裁盘（存储或服务器磁盘），不支持虚拟机或物理机IP仲裁的方式。
（2）存储层组网：
GAD的组网相对比较灵活，单机双阵列组网是用在数据中心内，只能实现存储层的双活能力，服务器主机是单点，只能防止存储故障，这种组网方式常用在不支持集群的应用中；双机双阵列组网是比较常见的组网方式，这种组网需要服务器安装集群软件，来实现业务的切换。
这种组网在存储层和应用层都可以实现业务双活；交叉组网类似于双机双阵列组网方式，但在网络层实现了交叉冗余，这种方式是推荐的组网方式，也就是服务器都可以看到所有的存储，服务器同时采用集群软件和多路径软件
升级会员 