英方MSSQL保护方案英方售后服务系统.docx
《英方MSSQL保护方案英方售后服务系统.docx》由会员分享,可在线阅读,更多相关《英方MSSQL保护方案英方售后服务系统.docx(20页珍藏版)》请在冰豆网上搜索。
英方MSSQL保护方案英方售后服务系统
英方软件
i2CDP备份与恢复最佳实践
V6.1
2017.11.28
1.CDP简介
CDP(ContinuousDataProtection,CDP),即持续数据保护。
持续数据保护可以捕获或跟踪文件操作及数据变化,以CDP数据文件形式并将其独立存放在灾备机指定的目录里,CDP数据主要由baseline数据目录(全备份)、按天的增量数据文件及索引文件组成;
页面提供操作日志浏览,主要记录文件的操作时间戳、操作类型及字节变化量。
通过控制机页面上浏览CDP操作日志,确保用户数据可以恢复到过去的任意时间点。
2.CDP功能拓扑图
3.CDP配置说明
3.1.如何开启CDP功能
新建或修改复制规则时,进入CDP设置选项,勾选“开启CDP”,并配置CDP策略
3.2.CDP设置参数说明
●连续CDP数据的保存天数:
指连续CDP操作日志的保存天数。
恢复对象提供足够细的恢复粒度,实现过去几天内任意的恢复时间点;
●按天合并的数据的保留个数:
把连续的CDP操作日志按天合并为delta的日志;
●这里引入“至少保留天数”的概念,至少保留天数=连续CDP数据的保存天数+按天合并的数据的保留个数.,后文会提到;
●CDP处理时间:
此参数影响两种情况:
1)当连续的CDP数据超过指定的天数后,该时间点进行CDP操作日志按天合并;2)若开启生成Baseline策略,需要按配置生产Baseline;通常,CDP处理时间选择业务较为空闲的时间为宜。
●CDP数据目录:
对应此复制规则产生的CDP数据存放位置;
●Baseline存储格式:
1)保持源目录结构:
baseline数据内容与复制规则目标数据一样;2)打包:
baseline数据以特定文件形式保存,针对海量小文件的优化。
●Baseline(全备份)策略:
用户可以指定每周/每月/每年的baseline生成策略。
当满足一个baseline周期+至少保留天数时,第一个周期baseline数据及相关增量数据会自动删除;开启Baseline策略可以提高配置的灵活性、CDP恢复的速度。
4.CDP运行过程
复制规则首次镜像完成后,灾备机先创建baseline数据,创建baseline过程就是拷贝同步过来的目标数据到CDP数据目录里,此过程中灾备机上的目标数据是停止同步的。
创建baseline完成后,灾备机日志会打印信息“Createbaselinereturn0”。
此后工作机实时捕获的数据变化同步到灾备机目标数据,CDP持续记录操作日志并写入CDP增量数据中。
2017-11-2111:
07:
282C7D89018-6905-55D0-4653-E888DC6FF605Startcreatingbaseline
2017-11-2111:
07:
282C7D89018-6905-55D0-4653-E888DC6FF605Createbaselinereturn0
考虑到连续CDP数据磁盘空间占用过大,连续的CDP数据天数上限是可设定的,超过连续CDP数据保存天数后,灾备机将连续的CDP操作日志及增量数据在CDP处理时间点进行按天合并,控制机页面上浏览CDP操作日志时用“delta”来标记该操作类型;
超过“至少保留天数”(连续CDP数据保存天数加上按天合并的天数)之后,需要根据是否开启baseline策略两种情况分别说明:
1)不开启生成baseline策略
复制规则首次生成baseline数据以后,baseline数据一直保持不动;
灾备机本地的按天增量数据超过保留天数不会合并到baseline而是继续保留;
备注:
大部分情况建议开启baseline,否则CDP数据占用空间一直会增长;
2)开启生成baseline策略
4.1.CDP数据磁盘空间估算
CDP数据目录空间占用大体由以下组成:
1)baseline数据目录占用
2)连续CDP数据的增量数据总量;
3)按天合并的增量数据总量;
4)若开启baseline全备份策略时,保留的baseline周期占用;
5)需要预留CDP恢复数据的空间;
不开启生成aseline策略的情况:
比如某用户100GB生产数据大小,生产数据每天平均写入增量10GB左右,
则CDP数据磁盘占用空间=100GB+10GB*N,N等于首次生成baseline开始至当天经历的天数,因此不开启Baseline策略的话CDP占用会一直增长,需要手动定期清理;
开启生成Baseline策略的情况:
1)按周
比如某用户100GB生产数据大小,生产数据每天平均写入增量10GB左右(不考虑按天合并后占用减小的情况),若CDP设置按如下配置:
第二个baseline周期第6天时(经历7+6天),CDP数据占用达到最大;因此计算公式如下:
baseline数据*2+按天增量*7+按天增量*6
=100GB*2+10GB*7+10GB*6=330GB
备注:
第二个baseline周期经过20天(总共经历30+20天)之后,第一个baseline周期的数据自动删除,此时保留第二个baseline数据和6天按天增量数据,如此循环;
2)按月
比如某用户100GB生产数据大小,生产数据每天平均写入增量10GB左右(不考虑按天合并后占用减小的情况),若CDP设置按如下配置:
第二个baseline周期第20天时(经历30+20天),CDP数据占用达到最大;因此计算公式如下:
baseline数据*2+按天增量*30+按天增量*20
=100GB*2+10GB*30+10GB*20=700GB
备注:
如何估算用户业务的按天增量数据大小,可以通过历史流量图或者诊断工具(repset-i),详见用户手册附录章节;也可以通过“repset-Qperdbg”监控捕获数据变化功能(前提是要启动复制规则),编写脚本定时采样搜集进行评估;
5.CDP恢复流程说明
复制规则工作机源目录/data,灾备机目标目录/data1,恢复到工作机时选择/data1/目录。
5.1.完全恢复
新建CDP恢复规则,默认是整个目标目录做恢复
5.2.指定目录恢复
从灾备机的目录或文件指定/data1/simulator/logs/
浏览CDP日志只显示指定目录/data1/simulator/logs/发生的操作日志;
5.3.指定文件恢复
浏览CDP日志只显示指定文件/data1/simulator/logs/f1发生的操作日志;
备注:
若目标文件误删除,则只能指定这个文件所在的上一层目录进行恢复;
5.4.指定恢复时间点
先指定CDP恢复的时间点,比如2016-05-2519:
50:
37,打开CDP日志后只显示该时间点之后发生的操作日志;
灵活使用指定子目录或文件以及指定CDP恢复时间点,可以快速定位发生问题的操作日志及恢复数据;
5.5.CDP恢复时间估算
完整的CDP恢复主要包含两个过程:
1)灾备机本地读取CDP数据合并出恢复数据;2)镜像恢复数据到任意一台工作机上;以下简称合并过程及镜像过程;
影响合并过程的因素主要是灾备机磁盘的IO读写能力,合并的具体流程是:
根据设定的CDP恢复时间点,先拷贝该时间最近一次baseline数据到临时目录里,然后将baseline时间点之后所有相关的增量数据合并到该临时目录里,最终生成CDP恢复数据;
影响镜像过程的因素主要是灾备机磁盘的IO读取能力、到工作机的网络带宽及工作机磁盘的的IO写入能力;
比如,某用户baseline数据大小是100GB,每天增量数据在10GB,CDP已运行了5天,假设理想情况下IO读写及网络传输带宽都在50MB/s,合并后恢复数据大小是100GB;
合并过程所需要的时间是baseline数据大小100GB除以50MB/s速率加上增量数据总量5*10GB除以50MB/s速率,约等于50分钟;镜像过程所需要的时间是恢复数据大小100GB除以50MB/s,约等于33分钟;通过CDP恢复到任意一台工作机上总的CDP恢复时间需要83分钟;
备注:
5.6版本以后CDP恢复支持合并到灾备机本地指定目录,用户可以通过先合并到灾备机网络挂载卷上,然后再将此卷挂载到任意一台工作机上,大大提高CDP恢复效率。
6.案例:
SQLServer做CDP保护
6.1.备份流程
1、查询数据文件目录
系统数据库如master、model、msdb、tempdb不需要备份,第一次同步到灾备机的数据库需要做附加数据库操作,需要同步的文件位置可在MicrosoftSQLServerManagementStudio访问数据库实例查询数据库属性;
根据以上得出复制规则的源路径如下:
C:
\sqldata
1、根据下表在控制机界面上新建工作机和灾备机;
角色
详细信息
工作机
IP地址:
192.168.88.120
灾备机
IP地址:
192.168.88.121
控制机
IP地址:
192.168.88.121
用户名:
admin密码:
admin
2、新建复制规则;
CDP典型配置:
至少保留6天,每周六生成baseline
注意:
1、复制规则基本设置映射类型选择“一对一”;2、复制规则镜像设置校验方式选择为“严格校验”;
验证备份数据:
工作机SQLServer数据库正常插入数据,停止复制规则(中断两端数据同步);启动灾备机数据库服务,数据库访问正常;
在生产机上创建一张表
往表里插入数据
查询数据插入量
停止复制规则
在备机上查询数据
6.2.CDP恢复流程
CDP恢复流程用户也可通过CDP恢复将数据恢复到过去的任意一个时间点;恢复前建议备份源数据;
1、在工作机上继续写入数据
2、进行误删除的操作
3、将工作机相关的复制规则停止;
4、恢复目标工作机的Sqlserver数据库是关闭的(shutdown);
5、新建“CDP恢复”规则,然后点击“查看CDP日志”按钮,选择具体的CDP时间事件;
进行误删除的操作
数据被误删除
停止复制规则
分离工作机的源数据库或者停止工作机数据库服务,然后新建CDP恢复规则,指定CDP恢复时间点;
确认后提交即开始CDP恢复
6、此时再启动数据库即正常运行,数据为选择时间点时的数据