CDM融合数据管理方案白皮书.docx
《CDM融合数据管理方案白皮书.docx》由会员分享，可在线阅读，更多相关《CDM融合数据管理方案白皮书.docx（34页珍藏版）》请在冰豆网上搜索。
CDM融合数据管理方案白皮书
业务连续性灾备解决方案
华为CDM融合数据管理方案技术白皮书
1概述
CDM解决方案是华为推出的融合数据管理解决方案，实现多云环境下存储的高效自我保护，为企业用户提供容灾、备份、数据利用和灾备上云的融合调度管理。
借助CDM方案，用户能减少重复投资，构筑低成本、高效的灾备和数据再利用系统。
1.1背景
1.2挑战及问题
1.3技术原理及发展趋势
1.1背景
信息化业务的快速发展带来几何级的数据增长，集中存放的数据越多，一旦发生灾难或者意外，数据不可恢复对用户带来的损害也越大，甚至可能危及企业生存，容灾和备份系统建设对于企事业单位而言已经变得不可或缺。
现代企业除了灾备之外，还有盘活生产数据的诉求，这三者的典型使用场景如下所示：
1.当生产系统发生灾难时，容灾系统能快速恢复业务，减少经济损失。
2.当生产系统受到病毒攻击，或者被人为误操作时，容灾系统也可能已经被错误数据覆盖，此时备份系统的历史副本数据才能恢复业务。
3.企业需要对生产数据进行分析，以便更有效进行业务决策，还有些软件开发部门，需要将导入最新的生产数据进行测试，提高软件的可靠性和开发效率。
由于每套系统都有自己的数据，这直接导致了数据被多次重复存储。
并且，随着数据量不断增大，这部分成本也越来越高。
1.2挑战及问题
容灾、备份和再利用系统各自有其特色，但又有一定的共性，如何将三套系统充分融合，以实现降本增效的目标，成了摆在用户面前的现实挑战。
1.传统备份速度慢，无法满足企业诉求。
有数据统计显示，1/3以上的企业在数据备份时，由于备份效率低下，备份窗口无法满足要求。
2.灾备系统投入远低于数据的增长速度
随着业务扩张，企业用户的数据年均增长50%以上，而数据保护预算增长却低于
10%，这导致企业有强烈的降成本要求。
，
3.数据是企业的金矿，要求挖掘数据价值
企业希望从生产数据中挖掘其价值，以便于指导业务决策或者新业务上线，直接在生产系统上开展此类活动是不能被接受的，灾备系统如何快速构建起数据再利用能力，变得非常重要。
1.3技术原理及发展趋势
华为CDM解决方案主要使用到的技术有：
1.灾备数据融合
−容灾系统在灾备端的数据可以理解为最新一个数据复制周期的数据，且数据可立即读写使用。
−备份系统在灾备端的数据可以理解为保留了多个数据复制周期的数据，数据通常不能立即读写使用。
通常，备份通常有两种类型：
a.变更源数据格式的备份；
b.不变更源数据格式的备份。
如果灾备要实现融合，即某一份备份数据能实现与容灾相同的能力，有两种可能：
a.备份数据不变更源数据格式。
b.备份数据虽然变更了格式，但是通过某种方式快速实现可读写。
华为CDM方案选择了方案a实现灾备融合，存储本身的快照特性天然支持该方式，且可以实现秒级创建和回滚进行恢复，相对于方案b更有优势。
2.连续快照备份保护
通常，我们的备份为天级，这也直接导致我们在恢复数据时效率低下，远远无法满足当前实际用户诉求。
华为CDM方案借助于DoradoV3的Hyper-CDP秒级快照能力，当生产存储为DoradoV3时，可以实现最低为秒级间隔的备份保护。
DoradoV3快照基于ROW技术实现，可以实现快照性能无损。
3.备份数据再利用
备份数据是众多时间点的历史生产数据的集合，而数据再利用要求的立即提供可用数据，因为数据利用时讲究的是效率和时间可控，在指定的时间点和时间段完成对应的工作，或生成数据分析结果，或者随时支持新软件的开发测试等。
所以备份数据支持再利用，要解决的一个核心要点就是备份数据要求对原数据格式不能进行变更，可以立即提供可读写的数据副本。
这些能力是快照天生就具备的，当CDM选择快照进行备份方案设计时，它同时也具备了良好的再利用能力。
4.可视化统一管理
当数据融合度变高之后，一套简易高效的管理平台，流程化的管理将至为关键。
数据融合程度高，系统部署集成度也更高，人为进行管理将不可行，它会增加误操作的风险，也会使得操作时间难以预估，影响决策。
华为CDM方案提供专业的管理平台，用户无需再人为参与底层操作，该管理平台实现基于业务的容灾、备份和数据利用的可视化管理，自动感知存储层拓扑关系，自行进行正确的流程化编排，避免人为误操作的发生。
2CDM解决方案
如今，企业和政府部门越来越依赖信息化进行办公、服务、发展与决策，数据丢失和业务中断会造成巨大经济与信誉损失。
911事件和四川大地震证明，各种自然灾难（火灾、水灾、地震等）和人为灾难（误操作、病毒等）总是无法避免的。
而随着黑客活动肆虐，臭名昭著的“勒索”病毒近几年连续攻击了全世界的企业和政府机构，逻辑保护的重要性越来越多地被人们提及。
数据和业务的容灾与备份已成为信息系统建设的必然要求，而从数据保存的本质来看，这两者是可以融合的，因为容灾是使用最新的那份灾备端数据恢复生产业务，而备份是在灾备端按策略保存多份数据，这些数据包括最新的和历史时间点的。
随着信息化进程的不断发展，众多用户甚至对数据只用于灾备用途表示不满。
他们希望更大程度的盘活这些数据价值，包括进行数据分析、开发测试等。
这些动作通常希望使用最新的生产数据，但是却要求不影响生产。
灾备端数据长期处于热备或者冷备状态，资源利用率极其低下。
使用灾备端进行数据分析，无疑是个双赢的做法。
基于以上这些因素，华为开发了CDM融合数据管理方案。
它的本质是进行融合数据管理，将容灾、备份和数据再利用融合到一个系统中，避免重复建设，以一种更高效的方式为用户提供这些服务。
它主要有以下几个优势：
1.比传统备份更快、更低成本，备份和恢复均使用增量方式完成。
2.灾备一体化建设，避免重复投资，容灾和备份统一管理，运维成本也更低。
3.备份数据利用效率高，数据即时可用，极大提升数据的价值。
4.数据副本甚至可以平滑备份上云，这将在CDM方案平滑升级中完美支持。
2.1系统架构
2.2关键技术原理
2.1系统架构
华为CDM方案是新推出的融合数据管理方案，无需额外部署传统备份网关或者软件，即可为用户提供近密远疏的数据备份、备份副本再利用以及一键式容灾切换等功能。
华为灾备管理软件BCManager是CDM方案的调度管理平台，用户按需配置备份策略后，它将自动协同存储远程复制、双活和快照功能实现按需备份副本创建和保留。
除
备份外，还支持备份副本数据按需和自动用于企业新软件开发测试以及数据分析。
接下来，该方案计划支持副本数据免网关备份上云或者其它NAS存储，实现更灵活的备份数据保存和利用。
华为CDM方案支持的组网很灵活，典型配置组网如图2-1所示。
图2-1CDM方案系统架构示意图
●阵列间数据远程复制使用OceanStorV3/V5、DoradoV3的远程复制功能，支持不同型号、高中低端存储间数据复制互通。
●容灾管理软件OceanStorBCManager只需在灾备端部署1套（推荐HA集群）即可，可部署在物理机或者虚拟机上。
●方案支持的应用不限于OracleRAC、DB2，SQLServer等，请详见方案规格清单。
●公有云支持华为公有云，后续将扩展支持其它公有云。
当生产端为DoradoV3，灾备端为OceanStorV5融合存储时，该典型配置具备如下优势：
1.生产业务部署于全闪存DoradoV3，提供极高的业务性能。
2.本地提供秒级快照备份能力，远端提供分钟级快照备份能力，无需额外部署备份软件。
3.免数据网关秒级逻辑保护，本地快照秒级回滚恢复，快速恢复此时的业务。
4.免网关容灾备份一体化，备端支持使用中低端存储降低TCO。
5.历史副本支持免人工值守数据分析，挖掘历史数据价值。
除了该典型配置方案外，CDM方案还支持更多灵活的组网，最典型的扩展方案如图2-
2所示。
生产主机部署集群配合存储双活实现业务高可用，生产端也可以是应用主机和
存储集群被拉远至两个站点部署，以实现跨站点双活。
灾备站点所能提供的能力与图
2-1所示方案相同。
图2-2CDM方案系统架构示意图2
2.2关键技术原理
2.2.1应用一致性
BCManager是基于B/S架构的管理平台，通过浏览器访问进行管理，包含2个子系统，BCManagerAgent、BCManagerServer：
●BCManagerAgent安装在业务主机上，提供主机、应用的发现及应用数据一致性的保证和应用的恢复。
●BCManagerServer安装在独立服务器上，提供整个容灾管理系统的配置、调度等业务功能。
图2-3BCManager灾备管理架构图
保护组的备份策略调度由BCManagerServer触发，一旦BCManagerServer故障或者与失联，备份任务将暂停。
为了提高方案可靠性，BCManagerServer要求HA集群部
署，并将配置文件导出保存。
一套BCManager支持管理多达32套存储阵列的灾备方案，即使生产和灾备系统有多套存储阵列，也无需为每一套灾备环境部署单独的
BCManager管理平台。
管理平台部署完成后，管理员通过本地浏览器访问BCManager，将存储阵列和应用主机添加至资源中，然后为每个应用创建相应的保护组，一旦保护组被创建将会按照设定策略（如每半小时一次快照或启动一次复制）自动执行。
自动执行保护时，应用数据的一致性快照副本或者一致性复制副本的实现原理如下：
步骤1当快照或复制周期到来时，BCManagerServer首先会通知BCManagerAgent，Agent针对不同的应用对应用实施不同应用一致性策略，将应用首先置于一致性状态。
步骤2BCManagerServer通知存储进行快照或启动复制，从而保证生成应用一致性快照副本或一致性复制副本。
步骤3当存储生成快照或启动复制后，BCManagerServer立即通知BCManagerAgent将应用从一致性状态还原为最初的状态。
----结束
BCManager针对不同的应用提供不同应用一致性方案，下面章节以Oracle和DB2为例对其进行介绍。
Oracle应用一致性
Oracle的应用一致性是利用Oracle自身的热备机制实现。
步骤1当快照或复制周期到来时，BCManagerServer首先通知BCManagerAgent将Oracle数据库置于热备模式。
步骤2通知存储启动复制或创建快照。
步骤3当启动复制或生成快照后，再通知BCManagerAgent将Oracle数据结束热备模式。
----结束
CDM方案支持Oracle单机和RAC集群两种部置场景，无需生产和灾备端保持完全一致的部署形态，例如：
生产端为RAC，灾备端可以是单机。
DB2应用一致性
DB2的应用一致性是通过应用层I/O悬挂实现。
步骤1当快照或复制周期到来时，BCManagerServer首先通知BCManagerAgent将DB2数据库的写I/O进行悬挂。
步骤2通知存储启动复制或创建快照。
步骤3当启动复制或生成快照后，通知BCManagerAgent将DB2的写I/O恢复。
----结束
与Oracle应用一样，CDM方案对生产和灾备端的部署方式不要求完全一致。
2.2.2无损快照备份
备份指将文件系统或数据库系统中的数据加以复制；一旦发生灾难或错误操作时，得以方便而及时地恢复系统的有效数据和正常运作。
根据备份方式的不同，主要分为以下几类：
●全部备份（FullBackup），即把硬盘或数据库内的所有文件、文件夹或数据作一次性的复制。
●增量备份（IncrementalBackup），指对上一次全部备份或增量备份后更新的数据进行备份。
●差异备份（Differentialbackup）差异备份提供运行完整备份后变更的文件的备份选择式备份，对系统的一部分进行备份。
●冷备份：
系统处于停机或维护状态下的备份。
这种情况下，备份的数据与系统中此时段的数据完全一致。
●热备份：
系统处于正常运转状态下的备份。
这种情况下，由于系统中的数据可能随时在更新，备份的数据相对于系统的真实数据可有一定滞后。
CDM方案使用快照进行备份，属于初始全备，永久增备的备份方式。
无损快照备份
快照是指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点的映像。
快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。
快照的主要作用是能够进行在线数据的备份与恢复，当存储设备故障或者文件损坏时，可以快速将数据恢复到某个可用的快照时间点。
其次快照某种意义上还可以解决数据一致性问题。
快照是源数据在某一时间点生成的数据副本。
快照具有执行速度快、占用存储空间小等特点，华为CDM方案利用它的特点实现快速的数据备份。
无损快照基本原理
DoradoV3存储的快照基于ROW快照技术，快照创建后对源LUN性能无影响，其基本原理如下：
创建快照：
快照创建激活后，会生成与源LUN一致的数据副本。
此时，存储系统将源
LUN的指针复制给快照，快照的指针指向源LUN数据的存储位置，即源LUN和快照的LBA相同。
源LUN写入数据：
快照创建完成后，当应用服务器对源LUN有数据写入请求时，存储系统利用ROW技术将新写入的数据存放在存储池中新的位置，源LUN的指针更新，指向新数据的存放位置。
快照的指针仍指向原始数据的存储位置，从而保存源
LUN在快照创建时间点的数据。
图2-4无损快照原理
快照不但能够快速生成源LUN在某个时间点的一致性副本，还提供了快速恢复源
LUN的机制。
当源LUN的数据遭到人为意外删除、破坏或病毒入侵时，通过回滚可以快速将源LUN的数据恢复到快照时间点，减少源LUN数据丢失量。
2.2.3近密远疏备份
CDM方案支持对本地和异地存储分别设置快照备份调度和保留策略，本地备份策略支持最小30秒间隔（DoradoV3）的备份，而异地备份策略支持最小5分钟间隔的备
份。
如果要求快照符合应用一致性策略，则备份间隔要求大于等于15分钟。
备份调度策略
备份保护的历史时间点越多，时间越长，其所占用的存储空间越大。
CDM方案提供灵活的备份设置策略，使用户在有限的空间内可以保存尽可能多的有效备份数据。
备份创建策略
备份副本创建时，BCManager提供按需调度和周期调度两种方式。
备份保留策略
●
按需调度是由管理员手动触发备份任务。
●周期调度是管理员提前设置备份时间策略，自动执行备份任务。
图2-5BCManager调度策略设置
周期调度时，CDM方案支持时间周期为秒、分钟、小时、天、周、月等定时策略进行备份。
支持指定某些天甚至一天内某些时段进行备份，以灵活满足的用户需求。
当生产存储为DoradoV3时，支持最小30秒的定时间隔快照备份。
图2-6BCManager周期调度策略
快照备份按策略创建后，设定好备份保留策略，将过期备份副本自动删除，以实现更高效的存储资源利用。
最终用户将可以获得：
离当前时间近的时间段保留更密集的备份副本，离当前时间点越远的时间段保留更少的备份副本。
图2-7BCManager备份保留策略设置
如图所示，按照此保留策略，将保留最近的256个备份副本，并且，1个月内每天保留
1个备份副本，1年内每周保留1个备份副本，3年内每个月保留1个备份副本。
当然，如果备份副本重叠时不会重复保留，例如最近的周副本与最近的某个天副本是重合的，则只保留1个。
2.2.4远端增量备份
CDM方案使用存储间远程复制功能实现跨阵列的数据同步，无需借助存储之外的其它软硬件设备。
华为存储的远程复制功能支持不同型号之间复制，甚至是闪存与非闪存之间的复制，所以CDM方案同样支持不同型号之间的灾备一体化配置。
增量复制原理
华为存储异步复制采用多时间片缓存技术，其工作原理如下：
时间片即为在Cache中管理一段时间内写入数据的逻辑空间。
1.当同步周期启动时，在主LUN和从LUN的Cache中分别产生新的时间片T2和
P2。
2.主机新写入的数据缓存在主端Cache中，并带有时间片T2的信息。
3.主端返回写I/O完成。
4.复制模块将上一个时间片T1的数据直接复制到从端Cache，写入从LUN的时间片P2中。
5.主从LUN的Cache将各自收到的数据写入到LUN中。
由于每次复制均是无序的，逐块进行数据复制，这就意味着从LUN上复制过程中的数据是不一致的，无法被主机应用使用。
CDM增量备份
CDM方案为了达成远端备份数据一致性保护的目标，由BCManager协同复制和快照模块，共同实现异地备份数据一致性可用。
远端的备份副本创建流程如下图所示。
图2-8从端快照备份副本创建流程
CDM方案中存储复制由BCManager按策略触发，并非存储设备自行按周期自动启动。
远端快照备份创建步骤如下：
步骤1当远端备份任务启动时，BCManager自动将应用层业务悬挂，然后发起阵列复制任务。
步骤2阵列复制模块收到请求后，自行创建时间戳，启动复制任务，并返回BCManager复制启动成功。
步骤3BCManager收到应答后，启动定时查询任务，查询复制进度。
步骤4待复制完成后，下发创建快照请求至备份阵列。
步骤5快照创建完成后，BCManager将复制任务启动时间标记为此快照的时间。
----结束
由此可见，快照记录的是数据时间，而非从LUN快照创建时间，这样有利于管理员按时间进行历史数据恢复。
CDM方案跨阵列数据传输利用阵列复制功能，根据DCL差异记录进行每个周期的增量同步的。
其工作原理简述如下：
步骤1当主LUN和从LUN建立异步周期复制关系之后，主从LUN之间启动初始同步，保证从LUN有一份完整可用的原始数据。
步骤2主端存储系统接收到主机发送的写I/O时，会发送写I/O至主LUN，只要主LUN返回写I/O成功，主端存储系统就会向主机返回写I/O成功。
步骤3从LUN的数据在收到BCManager启动复制时，再进行主LUN和从LUN的数据同步。
----结束
例如，某一次同步周期内写入数据块N，异步复制处理此次写I/O的原理如图2-9所示。
图2-9异步复制的写I/O及差异复制原理
RM：
复制管理模块。
DCL：
Datachangelog，数据变化位图。
主从LUN私有快照是在启动同步操作时（手动启动同步或同步周期到达后系统自动触发的同步）创建并激活，其作用分别为：
●主LUN快照可以保证同步过程中读取到的主LUN数据具备一致性，并使同步过程与主机对主LUN的写过程可以同时进行。
●从LUN快照用于备份从LUN在同步开始前的数据，避免同步过程发生异常导致从LUN的数据不可用。
私有快照只在同步过程中使用到，同步完成后停止快照，释放快照预留空间。
远端快照备份创建步骤如下：
步骤1远端备份时间点到达时，BCManager触发该保护组的远端备份动作开始执行。
步骤2BCManager向应用主机发送一致性保持请求。
步骤3收到应答确认后，发送请求至生产端存储系统启动一致性组复制。
步骤4存储系统主从LUN快照被激活，返回BCManager启动成功。
步骤5BCManager解除应用主机的I/O悬挂，并发起查询复制进程任务。
步骤6主端Cache数据和LUN数据复制到从端Cache中。
步骤7RM采取边复制边删除的方式删除DCL中的差异。
步骤8复制完成后停止主从LUN快照，BCManager查询确认复制完成后，在从端创建一个快照用于备份。
----结束
2.2.5远端备份增量恢复
CDM方案借助于BCManager实现流程化的远端备份恢复，无需人工干预，自动化完成整个过程对于主机和存储的调用和协同。
如下图所示，如果人工执行是非常复杂的。
图2-10远端备份副本恢复时的步骤（双活+一体化备份组网）
如图所示的步骤中，一体化备份回滚即是数据从远端备份副本恢复至生产LUN。
与传统备份方式相比，CDM方案仅需传输增量即可，而无需传输全量数据，恢复效率远高于传统备份方案。
该增量恢复详细底层过程如下：
步骤1分裂复制，复制从LUN退出写保护，复制主LUN进入写保护。
步骤2用于恢复的快照副本回滚至复制从LUN。
步骤3复制从LUN标记位图，记录快照回滚时有差异的块。
步骤4主从切换复制关系。
步骤5启动复制，主从LUN的位图合并计算。
步骤6将标记为差异的块完成数据同步。
步骤7分裂复制，原复制从LUN进入写保护，原复制主LUN退出写保护。
步骤8主从切换复制关系。
----结束
增量同步的关键在于步骤5和6，通过复制关系自带的差异位图合并计算，实现增量同步。
如果过程中原复制主端没有新下发数据，则主端差异位图为空，只需要将从端快照与从LUN的差异同步即可。
根据实验室实测数据显示，恢复效率相对于传统备份提升20倍以上。
2.2.6副本再利用
CDM解决方案的备份副本与传统备份方式有所不同，它并不变更备份数据的保存各式，而是直接基于阵列的快照特性实现。
该方式有以下3个优势：
1.数据格式不变，立即可用，秒级恢复。
2.差异记录默认已经存在，无需再次差异计算。
3.再利用使用的即是备份副本，完全复用，效率更高。
快照在该方案中，我们定义其用途为数据逻辑保护。
副本再利用时，我们基于快照生成二级副本，将该副本提供用于数据分析、测试使用，该变更不会影响原快照数据，原快照可以继续用于回滚修复，而且快照和快照副本的变更相互不影响，可以提供更加灵活的操作空间。
快照的二级副本并不是一个新的完整的实体数据，而是基于原快照立即生成且可读写的虚拟副本。
当对副本进行读操作时，如果读取的数据即是原快照数据，则直接读取原快照指向的空间进行读取操作；
当对副本进行写操作时，即进行写前拷贝操作，以保证原快照数据不会变更，变更的仅仅是副本所指向的数据。
如果某数据LUN有很多快照保护，而仅仅只创建了一个副本时，副本再利用过程中，针对数据块的写操作时，只有一次写前拷贝动作。
3方案典型场景
3.1备份数据恢复
3.2数据再利用
3.3容灾测试
3.4容灾演练
3.5容灾切换
3.6容灾回切
3.1备份数据恢复
CDM方案在本地和远端存储阵列按需求保存了大量的备份数据副本，当数据发生逻辑损坏，需要利用历史备份副本找回数据时，可以灵活选
升级会员 