英方MSSQL保护方案英方售后服务系统.docx

1、英方MSSQL保护方案英方售后服务系统英方软件i2CDP备份与恢复最佳实践V6.12017.11.281.CDP简介CDP（Continuous Data Protection，CDP），即持续数据保护。持续数据保护可以捕获或跟踪文件操作及数据变化，以CDP数据文件形式并将其独立存放在灾备机指定的目录里，CDP数据主要由baseline数据目录（全备份）、按天的增量数据文件及索引文件组成；页面提供操作日志浏览，主要记录文件的操作时间戳、操作类型及字节变化量。通过控制机页面上浏览CDP操作日志，确保用户数据可以恢复到过去的任意时间点。2.CDP功能拓扑图3.CDP配置说明3.1.如何开启CDP功

2、能新建或修改复制规则时，进入CDP设置选项，勾选“开启CDP”，并配置CDP策略3.2.CDP设置参数说明连续CDP数据的保存天数：指连续CDP操作日志的保存天数。恢复对象提供足够细的恢复粒度，实现过去几天内任意的恢复时间点；按天合并的数据的保留个数：把连续的CDP操作日志按天合并为delta的日志；这里引入“至少保留天数”的概念，至少保留天数=连续CDP数据的保存天数+按天合并的数据的保留个数.，后文会提到；CDP处理时间：此参数影响两种情况：1）当连续的CDP数据超过指定的天数后，该时间点进行CDP操作日志按天合并；2）若开启生成Baseline策略，需要按配置生产Baseline；通常，

3、CDP处理时间选择业务较为空闲的时间为宜。CDP数据目录：对应此复制规则产生的CDP数据存放位置；Baseline存储格式：1）保持源目录结构：baseline数据内容与复制规则目标数据一样；2）打包：baseline数据以特定文件形式保存，针对海量小文件的优化。Baseline（全备份）策略：用户可以指定每周/每月/每年的baseline生成策略。当满足一个baseline周期+至少保留天数时，第一个周期baseline数据及相关增量数据会自动删除；开启Baseline策略可以提高配置的灵活性、CDP恢复的速度。4.CDP运行过程复制规则首次镜像完成后，灾备机先创建baseline数据，创建

4、baseline过程就是拷贝同步过来的目标数据到CDP数据目录里，此过程中灾备机上的目标数据是停止同步的。创建baseline完成后，灾备机日志会打印信息“Create baseline return 0”。此后工作机实时捕获的数据变化同步到灾备机目标数据，CDP持续记录操作日志并写入CDP增量数据中。2017-11-21 11:07:28 2 C7D89018-6905-55D0-4653-E888DC6FF605 Start creating baseline2017-11-21 11:07:28 2 C7D89018-6905-55D0-4653-E888DC6FF605 Create

5、baseline return 0考虑到连续CDP数据磁盘空间占用过大，连续的CDP数据天数上限是可设定的，超过连续CDP数据保存天数后，灾备机将连续的CDP操作日志及增量数据在CDP处理时间点进行按天合并，控制机页面上浏览CDP操作日志时用“delta”来标记该操作类型；超过“至少保留天数”（连续CDP数据保存天数加上按天合并的天数）之后，需要根据是否开启baseline策略两种情况分别说明：1）不开启生成baseline策略复制规则首次生成baseline数据以后，baseline数据一直保持不动；灾备机本地的按天增量数据超过保留天数不会合并到baseline而是继续保留；备注：大部分情况

6、建议开启baseline，否则CDP数据占用空间一直会增长；2）开启生成baseline策略4.1.CDP数据磁盘空间估算CDP数据目录空间占用大体由以下组成：1）baseline数据目录占用2）连续CDP数据的增量数据总量；3）按天合并的增量数据总量；4）若开启baseline全备份策略时，保留的baseline周期占用；5）需要预留CDP恢复数据的空间；不开启生成aseline策略的情况： 比如某用户100GB生产数据大小，生产数据每天平均写入增量10GB左右，则CDP数据磁盘占用空间=100GB+10GB*N，N等于首次生成baseline开始至当天经历的天数，因此不开启Baseline

7、策略的话CDP占用会一直增长，需要手动定期清理；开启生成Baseline策略的情况：1）按周比如某用户100GB生产数据大小，生产数据每天平均写入增量10GB左右（不考虑按天合并后占用减小的情况），若CDP设置按如下配置：第二个baseline周期第6天时（经历7+6天），CDP数据占用达到最大；因此计算公式如下：baseline数据*2 + 按天增量*7 + 按天增量*6= 100GB*2+10GB*7+10GB*6=330GB备注：第二个baseline周期经过20天(总共经历30+20天)之后，第一个baseline周期的数据自动删除，此时保留第二个baseline数据和6天按天增量数据

8、，如此循环；2）按月比如某用户100GB生产数据大小，生产数据每天平均写入增量10GB左右（不考虑按天合并后占用减小的情况），若CDP设置按如下配置：第二个baseline周期第20天时（经历30+20天），CDP数据占用达到最大；因此计算公式如下：baseline数据*2 + 按天增量*30 + 按天增量*20= 100GB*2+10GB*30+10GB*20=700GB备注：如何估算用户业务的按天增量数据大小，可以通过历史流量图或者诊断工具（repset -i），详见用户手册附录章节；也可以通过“repset -Q perdbg”监控捕获数据变化功能（前提是要启动复制规则），编写脚本定时采

9、样搜集进行评估；5.CDP恢复流程说明复制规则工作机源目录/data，灾备机目标目录/data1，恢复到工作机时选择/data1/目录。5.1.完全恢复新建CDP恢复规则，默认是整个目标目录做恢复5.2.指定目录恢复从灾备机的目录或文件指定/data1/simulator/logs/浏览CDP日志只显示指定目录/data1/simulator/logs/发生的操作日志；5.3.指定文件恢复浏览CDP日志只显示指定文件/data1/simulator/logs/f1发生的操作日志； 备注：若目标文件误删除，则只能指定这个文件所在的上一层目录进行恢复；5.4.指定恢复时间点先指定CDP恢复的时间点

10、，比如2016-05-25 19:50:37，打开CDP日志后只显示该时间点之后发生的操作日志；灵活使用指定子目录或文件以及指定CDP恢复时间点，可以快速定位发生问题的操作日志及恢复数据；5.5.CDP恢复时间估算完整的CDP恢复主要包含两个过程：1）灾备机本地读取CDP数据合并出恢复数据；2）镜像恢复数据到任意一台工作机上；以下简称合并过程及镜像过程；影响合并过程的因素主要是灾备机磁盘的IO读写能力，合并的具体流程是：根据设定的CDP恢复时间点，先拷贝该时间最近一次baseline数据到临时目录里，然后将baseline时间点之后所有相关的增量数据合并到该临时目录里，最终生成CDP恢复数据；

11、影响镜像过程的因素主要是灾备机磁盘的IO读取能力、到工作机的网络带宽及工作机磁盘的的IO写入能力；比如，某用户baseline数据大小是100GB，每天增量数据在10GB，CDP已运行了5天，假设理想情况下IO读写及网络传输带宽都在50MB/s，合并后恢复数据大小是100GB；合并过程所需要的时间是baseline数据大小100GB除以50MB/s速率加上增量数据总量5*10GB除以50MB/s速率，约等于50分钟；镜像过程所需要的时间是恢复数据大小100GB除以50MB/s，约等于33分钟；通过CDP恢复到任意一台工作机上总的CDP恢复时间需要83分钟；备注：5.6版本以后CDP恢复支持合并

12、到灾备机本地指定目录，用户可以通过先合并到灾备机网络挂载卷上，然后再将此卷挂载到任意一台工作机上，大大提高CDP恢复效率。6.案例：SQLServer做CDP保护6.1.备份流程1、查询数据文件目录系统数据库如master、model、msdb、tempdb不需要备份，第一次同步到灾备机的数据库需要做附加数据库操作，需要同步的文件位置可在Microsoft SQL Server Management Studio访问数据库实例查询数据库属性；根据以上得出复制规则的源路径如下：C:sqldata1、根据下表在控制机界面上新建工作机和灾备机；角色详细信息工作机IP地址：192.168.88.120

13、灾备机IP地址：192.168.88.121控制机IP地址：192.168.88.121用户名：admin 密码：admin2、新建复制规则；CDP典型配置：至少保留6天，每周六生成baseline注意：1、复制规则基本设置映射类型选择“一对一”；2、复制规则镜像设置校验方式选择为“严格校验”；验证备份数据：工作机SQLServer数据库正常插入数据，停止复制规则（中断两端数据同步）；启动灾备机数据库服务，数据库访问正常；在生产机上创建一张表 往表里插入数据查询数据插入量停止复制规则在备机上查询数据6.2.CDP恢复流程CDP恢复流程用户也可通过CDP恢复将数据恢复到过去的任意一个时间点；恢复前建议备份源数据；1、在工作机上继续写入数据2、进行误删除的操作3、将工作机相关的复制规则停止；4、恢复目标工作机的Sqlserver数据库是关闭的（shutdown）；5、新建“CDP恢复”规则，然后点击“查看CDP日志”按钮，选择具体的CDP时间事件；进行误删除的操作数据被误删除停止复制规则分离工作机的源数据库或者停止工作机数据库服务，然后新建CDP恢复规则，指定CDP恢复时间点；确认后提交即开始CDP恢复6、此时再启动数据库即正常运行，数据为选择时间点时的数据