BOSS系统容灾备份技术规范.docx

1、BOSS系统容灾备份技术规范 中国移动BOSS系统 容灾备份技术规范中国移动集团公司二零零三年四月1. 总则1.1. 概述中国移动业务运营支撑系统-容灾备份系统是中国移动业务运营支撑系统，如BOSS、 经营分析系统等的延伸。本规范作为中国移动的业务运营支撑系统-容灾备份系统建设的技术指导意见，初步解决中国移动目前存在的缺乏统一的、系统化、规范化的业务运营支撑系统-容灾技术解决方案的问题。本技术规范主要包含容灾备份系统建设中相关技术方面的指导性意见。其中主要涉及中国移动业务业务运营支撑系统的技术模型、容灾模型的技术实现、容灾备份系统的切换回切、容灾建设策略等方面的问题。本文档附件包括相关名词解释

2、各省、自治区、直辖市公司在业务运营支撑系统-容灾备份系统的建设过程中，应以本技术规范为指导，根据实际情况，进行技术选择、项目设计、系统实施和系统维护工作。1.2. 目标和原则中国移动业务运营支撑系统的容灾备份系统的总体建设目标是：v 针对目前系统潜在的中断风险（灾难），提供预防机制，提高系统连续运行能力v 对无法抗拒的严重灾难，提供系统恢复机制，将引发的业务损失降低到可接受的程度具体到本期项目而言，中国移动业务运营支撑系统-容灾备份系统规划和建设的目标是：v 实现关键业务系统及其关联系统的数据安全v 减少计划停机次数/时间，消除对核心数据的争用v 将异地中心接管业务的时间控制在可以接受的范围内

3、v 实现异地中心的软硬件设备和数据的复用中国移动业务运营支撑系统-容灾备份系统规划和建设中须遵循以下技术原则：1. 实用性与成熟性使用业界成熟、可靠和实用的容灾技术。2. 先进性系统结构能够满足和适应中国移动IT系统快速变化和发展的要求。3. 开放性与标准化采用开放的技术标准和协议支持整个系统的运行，兼容性和恢复性强。4. 自动化和操作的简单化系统各部分有机集成，集中控制。1.3. 考虑的因素业务运营支撑系统-容灾备份系统的建设应综合考虑中国移动在本系统业务规范中制定的总体建设策略、各省的建设目标及成本。具体因素包括：v 系统的可恢复程度系统的可恢复程度包括：处理能力的恢复程度、数据的恢复程度

4、、业务功能的恢复程度v 系统的可容忍的中断时间 系统中断时间长短对应的业务损失程度应在可以接受的范围内v 成本包括系统建设、维护成本，以及资源复用情况。v 现有系统的保护机制包括现有的技术、管理和人员v 上述因素的综合考虑。1.4. 适用范围本规范适用于中国移动各省（直辖市、自治区）业务运营支撑系统-容灾备份系统建设。1.5. 起草单位本技术规范由中国移动通信集团公司负责起草。1.6. 解释权本规范的增补、修订及解释权属中国移动通信集团公司。如中国移动在此之前的文件与本规范有矛盾，按此规范执行。2. 容灾备份系统概述 2.1. 灾难的定义灾难，对计算机应用系统来说，任何导致业务停顿并带来重大损

5、失的事故或意外都意味着灾难。如果企业的计算机应用系统由于停机而中断了不可忍受的一段时间的事故或丢失的重要信息无法恢复，从而导致业务停顿的自然的、人为的或技术上的故障或问题，我们均称之风险!因此，从广义来讲，任何风险都可能引起灾难。中国移动业务运营支撑系统主要面临的风险有：v 计划内1. 应用软件等的升级,2. 备份/恢复/归档3. 数据中心迁移、整合4. 测试、容灾演习v 计划外1. 系统处理能力下降2. 人为操作故障：错误删除文件数据，造成不可恢复；错误执行程序或命令，造成系统死机3. 系统软硬件故障，主要包括电源及UPS故障、硬盘故障、通讯控制器故障、系统总线、内存、CPU故障等4. 安全

6、体系被攻破5. 生产地点的灾难：水灾、火灾、地震及其他机房事故等6. 瘟疫v 其它：包括灾难的潜在影响，如水灾、地震等， 常伴随着电力的供应问题。 2.2. 容灾的定义2.2.1. 容灾定义容灾，对于IT而言，就是一个提供能防止各种灾难的计算机信息系统。当政府、企业、商家的核心计算机系统遭受诸如火灾、水灾、地震、战争、人为破、瘟疫等不可抗拒的灾难和意外时，能够及时恢复系统的正常运行。因此，容灾的目的在于及时恢复系统运行而不在于数据复制。容灾是业务连续性的实现方式之一。2.2.2. 业务连续性定义业务连续性是一种预防性机制。它明确一个机构的关键职能以及可能对这些职能构成的威胁，并据此采取相应的技

7、术手段，制定计划和流程，确保这些关键职能在任何环境下都能持续发挥作用；业务连续性 = 从计划外停机中实现灾难恢复 + 在计划停机期间保持连续可用 + 利用冗余资源提供增值服务2.3. 系统建设模型中国移动业务运营支撑系统容灾备份系统的建设，必须按照需求分析、方案设计、方案实施、测试/演习/维护的科学流程进行。本文档依据下面2.1图示的系统建设模型，对各省移动公司进行BOSS系统-容灾备份系统建设时的各个阶段的工作，做出指导和规范。图2.1业务运营支撑系统-容灾备份系统建设模型人员、流程和技术是保证业务运营支撑系统-容灾备份系统成功实施、有效运行的三个重要方面： v 人员，是技术和流程的制定者和

8、执行者。v 流程，是由人员制定的，人员依据容灾备份系统的目标的要求，为保障目标的实现而制订了一整套完整的流程。在某些时候，它也是技术的补充和完善。包括恢复、测试、演习和维护等；v 技术，是手段、是载体；人员、流程和技术通过管理机制有效结合。管理机制包括计划、映射、驱动、调控等手段。首先，人员制订了流程，并驱动流程的贯彻执行，维护流程的变更及督促流程的完善。流程一旦建立，就对人员起到了调控作用，人员就要依据流程的要求执行相应的工作步骤。其次，人员依据容灾备份系统目标的要求，选择适当的技术来支持这些目标的实现，这时，就需要对当今的各种相关IT技术进行计划，采用一种或多种技术建立容灾备份系统的技术基

9、础。最后，流程也是技术的映射，采用了哪种技术，人们就会制订适合这种技术的流程，而且，技术通常会有一些缺陷，在对技术进行充分评估后，通过制订流程，可以对技术进行补充，以实现系统目标。人员、流程和技术这三个重要的系统因素将贯穿整个容灾备份系统建设的始终。2.4. BOSS系统-容灾备份系统架构中国移动BOSS容灾系统的体系架构应按照BOSS系统建设的体系进行划分，即集团公司全国BOSS容灾系统和省公司BOSS容灾系统或区域级容灾系统，采用两层的结构体系，如下图所示：第一级：集团公司全国BOSS容灾系统，负责中国移动集团公司的BOSS系统的容灾建设；第二级：省公司BOSS容灾系统或区域级的BOSS容

10、灾系统，根据中国移动BOSS容灾系统的规范要求，负责本省市/自治区的BOSS系统运行状况，或按业务量大小、自然环境等具体情况，在邻近的几个省份实施区域级/BOSS容灾系统，构架区域级的容灾中心。省公司业务业务运营支撑系统-容灾备份系统架构如下图 2.3所示：图2.3 省公司BOSS系统-容灾备份系统架构3. 容灾备份系统技术模型3.1. 容灾备份系统的技术框架中国移动核心业务支撑系统BOSS。系统的容灾备份保护，主要着眼于对业务处理平台，数据平台和接入平台这三个重要的系统领域的保护：如图3.2示意：图3.2 业务平台的保护业务处理能力的冗余容灾备份系统中，对于BOSS业务平台的保护，主要表现为

11、对业务处理能力的冗余和复用，其中牵涉：o 支持应用系统运行的服务器和操作系统等系统软件o 支持应用系统运行的存储器及存储器和服务器的连接（存储网络等）o 连接服务器的IP网络系统o 支持应用系统实现的Application Server、中间件或数据库等o 实现业务逻辑的应用软件系统 数据平台的保护业务状态数据的复制在容灾备份系统中，对数据平台的保护主要表现为对业务状态数据的保护、备份和恢复以及复制，需要保护的业务状态数据包括：o 业务交易状态（数据本身的数据属性为文件、数据库等）o 系统状态-包括应用软件的初始数据、参数设置、以及系统软件的配置数据、参数设置等。o 中间数据（或临时数据） 接

12、入平台冗余和切换接入平台在容灾备份系统里， 需要实现对外部接口的冗余及切换，其中牵涉：o 应用数据接口的切换-包括文件传输、消息机制等o 应用连接接口的切换- HTTP连接、数据库连接、远过程调用、对象的调用等o 网络连接的冗余和切换 包括城域网网络连接、拨号连接等等3.2. 容灾备份系统IT技术映射根据上节对容灾备份系统技术框架的描述，对于某个（或数个）需要提供容灾保护的BOSS关键业务，其容灾备份系统建设将分别包括对其相应支撑系统的处理平台、数据平台和接入平台的保护。而构成三个重要平台系统的IT元素包括：应用软件， 网络， 服务器、数据库，存储， 中间件等等。这些技术分属于应用，主机，存储

13、，网络和物理5个层次。在分别讨论实现处理平台的冗余和复用、接入平台的冗余和切换以及业务数据的有效复制的相关IT技术时，将按照这5个层次逐一罗列相关技术。逻辑关系见下表31。表3-1容灾备份系统IT技术矩阵3.2.1. 应用层应用层指建立在网络系统之上的应用服务系统，如应用软件模块、Web服务、目录服务、认证服务等。BOSS容灾技术架构中，业务平台和接入平台牵涉应用层技术。在业务平台中，应用层主要涉及运行在应用服务器上（或数据库系统当中）的实现业务逻辑、形成内部数据流的应用软件。接入平台中，应用层指各类终端系统上运行的表示软件，如营业厅中运行的基于浏览器界面的营业员操作终端软件；账务系统和银行代

14、理系统之间的前端机上运行的接口软件等。理论上，业务状态数据是应用层技术产生的，因此可以在应用层技术中实现其复制；但这样将使容灾技术实现和目前已经十分复杂的BOSS软件系统架构过分紧密相关；将要求大量更动现有BOSS软件。3.2.2. 存储层BOSS技术架构中，数据平台涉及存储层技术。存储层是业务数据存储的物理平台，它包括存储系统，存储网络和存储软件三类技术。而利用存储软件功能实现关键业务状态数据的复制，是容灾备份系统的最重要的技术组成部分之一。由于它和BOSS系统其他部分完全透明，因此是本次BOSS容灾备份系统建设中首选的业务状态数据复制方案。3.2.3. 主机层主机层技术系服务器（或工作站平

15、台）相关的技术，包括系统软件-操作系统，集群系统；以及数据库，Application Server、中间件系统等应用软件平台等。主机层技术涉及BOSS系统的所有部分。其中最重要的部分是：在业务处理平台当中所采用的Application Server/中间件技术，以及BOSS各个内部子系统之间的其他接口技术如消息队列技术、文件传输协议等（如果业务逻辑部分由数据库中的存储过程实现，则业务处理平台还包括数据库技术）。在BOSS容灾备份系统构成中，要考虑这些主机层技术对于BOSS内部各个处理子系统之间，在系统部分或全部切换过程中相应的处理技术。主机层技术在数据平台部分主要牵涉数据库技术，文件系统或网络

16、文件系统服务，这些技术实现业务状态数据的基本逻辑组织。在BOSS容灾备份系统构成中，要考虑关键业务数据复制功能和这些技术的集成能力。另外，这些技术本身也可实现业务状态数据的保护和复制功能。主机层技术在接入平台部分牵涉和其他系统之间的各种软件接口技术如消息队列技术、文件传输协议等。在BOSS容灾备份系统构成中，要考虑这些主机层技术在系统部分或全部切换过程中，外部系统和BOSS系统之间连接的相应切换的支持处理技术。3.2.4. 网络层本规范中的网络层包括两个主要部分，即：1、BOSS系统省中心及其灾备中心的局域网，这些局域网用以联结省中心和灾备中心的各种服务器。BOSS系统业务平台主要涉及本部分技

17、术。2、省中心和灾备中心和外部系统连接的广域网（或城域网），包括和营业厅的网络连接、和各个代理银行的网络连接、和各类采集系统、HLR的网络连接等。BOSS系统接入平台主要涉及本部分技术。3.2.5. 物理层物理层指中国移动业务支撑系统为实现应用所需要的场地，电源，通信线路等基础设施以及空调、防尘、消防、门禁、保安等辅助设施。显然，它是整个BOSS的IT实现的基本物质保障，将涉及整个BOSS系统中的所有部分，本规范统一考虑业务平台、数据平台、接入平台的物理层要求。综上所述， 五个不同技术层面对BOSS关键业务其相应支撑系统的处理平台、数据平台和接入平台的映射关系如下图黄色所示：4. 容灾备份系统

18、模型的技术实现 容灾备份系统技术实现包含三个领域：业务状态数据的备份和复制、业务处理能力的冗余和切换、外部接口的冗余和切换。本章说明这三个领域在应用层、存储层、主机层、网络层以及物理层的不同技术实现方法和特点，以及如何将这些技术应用于容灾备份系统的不同实现阶段中。4.1. 数据平台-业务状态数据的保护对业务状态数据即完整的业务运行状态的记录（以下简称生产数据）进行保护，主要目的有两个：第一是生成定点拷贝，以防止生产数据发生逻辑故障（如人为误操作破坏、病毒破坏、应用系统缺陷造成数据逻辑混乱等）或后台业务处理（如磁带备份、新软件测试、报表生成、统计分析等）影响业务系统的运作，；第二是连续复制，在生

19、产运行过程中，连续不断地将生产数据复制到异地，应对生产中心的严重故障对生产数据的整体或局部物理性损坏。4.1.1. 业务状态数据的定义业务状态数据应包括系统状态和完整的交易状态。系统状态包括操作系统、数据库、中间件、应用程序等软件的运行版本和当前软件运行的配置数据等。完整的交易状态指企业范围内各种交易执行涉及到的完整一致的数据对象的集合，如用户的服务订购信息、帐务信息、明细账单、交费记录等。4.1.2. 业务状态数据保护机制的技术要求完整性：对维持业务正常运行的所有生产数据进行保护。可以采取两种策略：分而治之或统一解决。分而治之即对生产数据的不同组成部分采用不同的方法，如对操作系统软件和数据库

20、数据分别采用不同的方法；统一解决即用一种方法保护所有的生产数据。虽然两种方法都能实现完整性，但统一解决方法独立性强、易于扩展、维护，而且易于实现以下的一致性、管理性等指标。一致性：保证被保护的生产数据的各部分的业务逻辑上的一致。可以采取事后一致性检验和事前同一时间点生产数据冻结技术。事后一致性检验技术主要针对分而治之的完整性实现方法，在保护生成后验证各部分数据的逻辑一致性；事前同一时间点生产数据冻结技术对生产数据各部分在同一时间的映像进行保护，主要针对统一解决的完整性实现方法，从数据各部分之间时间上的同步性实现业务逻辑一致性。可验证性：针对备份或复制的数据，具有事先验证手段。可验证性保证在需要

21、利用保护介质恢复业务状态时，可顺利读出生产数据、恢复业务状态。时效性：生成完整的生产数据的保护工作进行频率。频率越高，时效性越强，在业务终止时，不能恢复或需要人工恢复的数据就越少，业务就越易于准确的恢复，业务的停顿时间和相关的损失就越少。RPO是衡量时效性要求的重要指标。可扩展性：生产数据保护机制随着IT基础结构和业务的变化而不断扩展、适应的能力即可扩展性。可扩展性的优劣将决定保护机制的可持续发展能力和投资保护能力。可操作性：在保证完整性、一致性、可验证性、时效性、可扩展性的前提下，所选择的技术手段的技术复杂度、可实施能力以及易维护能力。可重用性：所生成的生产数据的保护的多重利用能力。生成生产

22、数据的保护会占用IT的一部分资源，除利用其恢复业务状态之外，利用其进行其他任务，如数据归档、软件测试、报表生成、统计分析将充分发挥这部分IT资源的价值，增加投资回报。可管理性：监控业务状态的保护机制的运行状态、运行性能、故障处理的能力，保证其按照设定的保护要求运行。集成性：业务状态的保护机制与业务的运行和恢复机制的整合能力。整合能力高低决定保护机制是否可顺利和当前业务运行体系良好配合，以及当业务中断时，如何和业务处理能力恢复系统一起顺利恢复业务的运行。4.1.3. 技术手段分类从生产数据的保护的生成的时间和目标分，可分为以下两类：v 定点拷贝v 连续复制4.1.3.1. 定点拷贝定点拷贝（Po

23、int-in-time Copy）是在业务运行过程中某一时刻的生产数据的保护。该保护一般在业务正常运行时生成，主要预防业务因生产数据的逻辑故障而造成的停顿；当生产数据因人为误操作或病毒破坏而损坏时，可以利用该定点拷贝将业务状态恢复到损坏发生前的某一个时刻（即执行定点拷贝时）的业务正常状态。在具体的业务恢复过程中，辅以其他手段（如手工录入等，在技术上做好对已明确的业务恢复流程的支撑），可补充自定点拷贝生成时刻起至业务中断时这一段时间业务运行产生的生产数据。从保存定点拷贝的介质分，可分为以下三类： 磁带或光盘备份 磁盘快照 磁盘备份4.1.3.2. 连续复制连续复制是对业务状态数据进行持续不断的复

24、制。主要预防业务系统遭遇严重故障而造成生产系统长时间无法修复时，利用该复制作为恢复生产的基础。当严重故障发生时，连续复制过程也终止；在进行业务恢复时利用复制结果可以恢复系统中断现场的生产数据，从而恢复业务。按照连续复制过程中生产数据和复制结果之间的时间关系，可以分为同步复制和异步复制，以及介于这二者之间的半同步复制。按照数据复制的执行方，可以分为如下几种方式： 应用嵌入方式 采用应用层技术实现执行方为应用程序的内嵌代码，复制的粒度是应用级交易，复制涉及的范围为单个应用。复制的原理是应用程序负责将同一笔交易在本地中心（或称生产中心）和备份中心（或称备份中心）都得到执行。其同步方式为“两阶段提交（

25、two-phase commit）”方式，同一笔交易同时向两个中心提交，获得两个中心的交易完成应答后，该交易作为一个整体完成。其异步方式为“交易日志重放”方式，生产中心定期将已完成的交易所需要的输入（或直接将输出结果）发往备份中心，在备份中心重新执行（或直接记录结果）。 数据库方式采用（依靠）主机层技术实现执行方为数据库管理系统的辅助程序，复制的粒度是数据库内数据操纵动作（Data Manipulation Operation），复制涉及的范围为单个数据库。数据库管理系统在执行数据操纵动作过程中，将需要整体完成的动作集合作为交易来管理；利用联机日志（Online Logs）记录交易的执行情况，

26、利用归档日志（Archive Logs）定期将联机日志进行一定期限的保留。其同步方式为同时传输归档日志和联机日志，保持备份中心和生产中心的数据库中已提交的交易的执行的一致性；其异步方式为只传输归档日志。 文件系统方式采用主机层技术执行方为系统中特定的文件系统复制引擎，复制的粒度为文件系统中的文件，复制涉及的范围为单个服务器中的文件系统。文件是粗粒度的数据对象，复制多发生在文件被关闭时。其复制方式多为异步的数据迁移方式，复制引擎在文件一级比较生产中心和备份中心的差异，定期将生产中心被修改过的文件传输到备份中心。 服务器卷管理软件方式采用主机层技术执行方为服务器中的卷管理系统或操作系统的特定复制辅

27、助部件，复制的粒度为卷管理系统接受到的来自文件系统、数据库管理系统、服务器内存管理系统的IO更新操作，复制涉及的范围为单个服务器管理的逻辑卷。一般利用服务器的CPU、Memory、磁盘更新日志、以及服务器之间的TCP/IP网络资源完成复制。运行方式可以为同步、异步方式。 智能存储系统方式采用存储层技术执行方为智能存储系统，复制的粒度为存储系统接受到来自服务器的IO更新操作，复制涉及的范围为企业中存放在智能存储系统中的所有信息，包括应用程序、数据库、文件系统、数据卷等等。运行方式可以为同步、异步、半同步方式。同步方式可分为两种：同步拷贝和完全镜像。异步方式下，在生产中心可以按照两种方式缓存需延时

28、复制的数据：复制队列技术和定点拷贝复制技术。（延迟同步和缓冲区技术）4.1.4. 定点拷贝的技术实现4.1.4.1. 磁带或光盘备份存储层技术磁带或光盘备份是基于磁带或光盘介质的定点拷贝。目前磁带备份应用较普遍，下面以磁带备份描述备份技术。磁带备份包括分散式备份和集中式备份。在分散式备份方式下，每台服务器自带磁带机，对该服务器管理的数据进行备份。这种分散型备份存在扩展性不强、难以管理、安全性差等特点。集中式备份的架构是对备份采取集中式管理，要备份的生产数据分布在多台服务器中。一般存在一台备份管理服务器（BACKUP SERVER），多个拥有生产数据的备份客户端（Backup Client），一

29、个或多个控制磁带库机械臂和磁带驱动器的磁带介质服务器（Media Server），介质服务器可以位于备份管理服务器、特定的备份客户端或专门的服务器中。备份管理服务器控制备份客户端和介质服务器，引导备份客户端将数据传送到介质服务器中，并通过记录备份过程中的管理信息，对备份系统的设置、监控、恢复进行有效的管理。为了支持各种不同的备份客户端，如不同的操作系统、文件系统、数据库、商用应用软件，各系统开发厂商在不同备份客户端中安装备份代理程序，实现备份系统各部件之间统一、可扩展的备份架构。其中对于文件系统服务器，业界包括文件系统服务器和备份软件系统厂商开发了NDMP协议，可对各厂商的文件系统服务器进行统

30、一的备份和恢复。根据备份客户端和磁带设备之间数据传输使用的通信资源情况，备份架构又可分为如下几类： LAN-FREE：在介质服务器对磁带介质的控制以及备份管理服务器对备份过程的控制配合下，备份客户端可以直接由SAN访问磁带设备； SERVER-LESS：备份数据由数据所在的在线存储设备直接写入磁带设备，这一过程不使用生产服务器的处理资源。根据备份客户端备份代理程序的不同，要备份的数据可以位于不同的层面： 应用程序 数据库 文件系统 服务器卷 磁盘存储设备在不同层面备份的数据，在恢复数据时也将在对应层面进行，在整个业务恢复流程中也将在对应层面和其他步骤进行整合。根据备份进程对要备份的数据的争用情

31、况，可以分为以下两类： 脱机备份：在备份代理程序从备份客户端读取要备份的数据时，该数据对生产进程已处于脱机状态； 联机备份：在备份代理程序从备份客户端读取要备份的数据时，该数据对生产进程仍处于联机状态；根据对备份介质的数量的要求，备份可分为如下两类： 单路备份：备份时为生产数据形成一份磁带拷贝； 多路备份：备份时为生产数据形成多份磁带拷贝。根据备份客户端和介质服务器之间的距离，可以分为两类： 本地备份：备份客户端和介质服务器在同一机房内； 远程备份：备份客户端和介质服务器在不同机房内。4.1.4.2. 快照存储层技术快照是将数据快速备份到在线介质中。根据快照保存的机制，快照可以分为两类： 指针型快照被快照的生产数据在物理上由数据块构成，每个数据块具有相应的指针。快照生成时完整拷贝生产数据包含的所有数据块的指针，逻辑上获得一个新的生产数据的备份，但共享物理数据块；使用快照时，通过指针指向的物理块，而获得实际的数据。无论生产数据还是快照被修改时，一般通过“copy on first write”机制，将共享的物理块的数据拷贝到专门的缓存区中，然后再对数据进行修改。指针型快照适用于修改量小、快照保