IT应急预案编写指南.docx

1、IT应急预案编写指南系统应急响应及恢复预案编写指南2011年7月1日目录修订说明：北京数据中心于2011年3月推出北京数据中心总体应急预案V1.0（简称总体预案）和中国建设银行XX系统应急响应及恢复预案（模版V3.0）（简称新预案模板）。总体预案主要适用于北京数据中心信息系统突发事件的处理，并指导各信息系统编制系统应急预案。在总体预案中，对事件分级及处置原则、中心应急组织架构及职责、应急响应及恢复流程、应急预案管理等内容进行了描述。新预案模板主要用于指导数据中心各系统应急新版预案的修订工作。新预案模板在V2.0版本基础上，对架构和内容进行了全面的修订，重点加强了系统应急管理、故障快速定位和故障

2、场景等内容的描述。可确保特定系统发生突发事件时，应急人员能依据预案预设内容，规范处置和快速恢复应用。系统预案中相关的事件分级、处置和应急流程等在总体预案中都有详细描述。在修订过程中，编制人员可参照总体预案进行新版预案的修订。新预案模板由六章组成，分别是总则、系统及资源、标准处置预案、故障快速定位、系统应急场景分类及描述和附录。新预案模板与V2.0版预案在文档结构对照关系可参见下表：新版预案模板V3.0旧版预案模板V2.0备 注1 总则新增内容2 系统及资源1.应用系统简介2.系统资源配置对应旧预案第一、二章部分内容3标准处置预案新增内容4故障快速定位新增内容5系统应急场景分类及描述7. 技术应

3、急维护操作手册对应旧预案第七章部分内容6 附录9附录对应旧预案第九章部分内容3.管理部门及职责划分4.应急组织设置5系统应急管理6应急处理流程8. 预案演练和更新相关内容将统一出现在中心总体预案中新预案模板保持了应急预案版本建设的连贯性，减少了预案版本升级所可能产生的困难和产生的工作量，便于预案修订人员参考使用。本编写指南在主体结构与预案模板也基本保持一致，希望能帮助预案修订人员顺利完成新版应急预案修订工作。修订记录说明：每次系统升级及变更配置后，都必须对应急预案做相应的修订，确保这些变化造成的影响能够在应急预案模版中反映出来并使之符合系统现有状况。预案维护人员严格执行版本控制，在预案内容更新

4、后时应该确保相关人员都能及时得到最新版本。示例：修订日期版本号修订说明修订人审核2007.1V1.0建立数据中心应急预案模板吴磊杨晓勤2008.1V2.0修订应急预案第五、六、七章节吴磊张翔2009.6V2.5修订第四、第七、第八章节吴磊张翔2010.3V3.0全面修订应急预案结构和内容，新增第三、第四章内容吴磊付林1.总则1.1.目的和依据说明：请在此简要描述本预案编制的主要目的，本预案在建设银行业务持续性突发事件应急响应及恢复工作（以下简称“应急响应及恢复工作”）过程中所发挥的作用和执行的功能，以及编制本预案的主要依据。示例：防垃圾邮件网关系统（MGAT）应急预案（以下简称MGAT预案）是

5、邮件网关系统遇到紧急情况或运行中断后为恢复邮件网关服务所采取的快速有效的应对手段。通过建立包含应急启动、执行、恢复等流程、步骤和技术操作方案，为系统相关组织、人员处理应急情况提供指导；并作为与总行其他应急相关人员进行协调的依据。1.2.适用范围说明：请在此明确本应急预案的具体适用范围。如指明该预案适用于因XXX突发事件所导致的建设银行XXX业务发生中断，需要采取应急处置和恢复措施予以应对的操作风险事件。示例：本系统应急预案适用范围是北京数据中心与本系统有关的所有组织体系和人员，适用于北京数据中心邮件网关系统的运行所需的功能，操作和资源。该预案适用于因邮件网关系统突发事件所导致的建设银行邮件收发

6、发生中断，需要采取应急处置和恢复措施予以应对的操作风险事件。邮件网关系统简称为MGAT，产品英文名称为Websense 邮件网关。2.系统及资源2.1.系统信息应用系统中文全称：说明：请在此描述应用系统在北京数据中心（或ITSM系统中）的中文全称。应用系统英文缩写：说明：请在此描述应用系统在北京数据中心（或ITSM系统中）的英文简称。应用系统负责部室：说明：请在此描述应用系统在数据中心（或ITSM系统中）的负责部室。应用系统管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）的应用预案修订人员A/B角或者管理团队。平台系统管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）

7、的平台预案修订人员A/B角或者管理团队。网络管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）的网络管理员A/B角或者管理团队。2.2.系统描述系统功能：说明：请在此描述应用系统的主要功能。支撑业务：说明：请在此描述应用系统所支撑的所有业务应用。业务影响范围：说明：请在此描述应用系统故障后可能影响的范围。2.3.运行指标说明：请在此补充应用系统的常用的一些运行指标，如恢复时间目标(RTO,Recovery Time Objective) 恢复点目标(RPO,Recovery Point Objective)、运行维护级别、可用性要求，性能要求，业务连续性要求，安全性要求，可管理性要

8、求，可维护性要求等。运行指标解释：1）恢复时间目标（RTO）：是指突发事件发生并导致业务或系统中断后，从中断到必须恢复的时间要求。2）恢复点目标（RPO）：是指突发事件发生并导致业务或系统中断后，数据必须恢复到的时间点要求，即数据可容忍丢失的最大时间长度。注意：恢复时间目标（RTO）和恢复点目标（RPO）是必填项。在营业不同时间段（业务高峰、业务空闲和非业务时间）如对RTO/RPO有不同要求，请单独列举。示例：邮件网关系统运行指标恢复时间目标（RTO）：0分钟。恢复点目标（RPO）：10分钟。运行维护级别：5*8（8:30 - 17:30）。可用性要求：全年系统可用性达到99.9%。性能要求：

9、系统最大并发连接数 8000 个 TCP连接，邮件处理速度 150 封/秒，邮件延迟时间平均值1 分钟，邮件错误率 170,000 次/小时 包括字典攻击、目录攻击、病毒攻击、压缩文件攻击等。2.4.关联系统说明：请在此描述与该系统运行相关的其它关联系统情况，如：何种关联系统？所涉及何种业务等。2.5.物理架构说明：请在此描述系统物理拓朴结构及简要描述（包括放置在哪个机房，物理如何连接、以及何其他系统的关联拓扑等）2.6.网络拓朴说明：请在此描述系统网络拓朴结构及简要描述2.7.IP及端口说明：请在此描述简要描述系统使用的IP地址及端口（请填写包括带外管理在内的所有网络地址和端口）2.8.系统

10、软硬件2.8.1.主机设备说明：请在此描述主机设备的具体配置及参数。示例：主机设备一：邮件网关系统主服务器，设备用途：设备编号：操作系统及版本：WindowsServer2003R2企业版设备位置： 北京洋桥2层数据库及版本：SQL2005设备型号：IBM xSeries3850中间件及版本：websense V6.3.2设备序列号：99C4653本地硬盘RAID级别：raid5设备微码：（主要设备）本地硬盘大小及数量：146*6CPU及数量：Xeon 3.0G 4网卡一MAC及IP：00-14-5E-BC-7A-2E (无IP地址)内存大小：8G网卡二MAC及IP：00-14-5E-BC-7

11、A-2F（无IP地址）网卡：3块网卡网卡三MAC及IP：00-10-18-30-69-4D (IP：11.133.190.59)其他2.8.2.软件配置说明：请在此描述系统安装的各种软件的具体信息及用途，请将系统所用软件按系统软件、中间件、数据库、应用等进行划分。示例：软件类型产品名称版本号用途说明操作系统WEBSENSE OS2. 2.4.22-14生产数据库Mysql4.0生产应用软件RiskFilter6.3.3生产2.8.3.磁盘/磁盘阵列说明：请在此描述系统所用的磁盘及磁盘阵列。2.8.4.磁带存储说明：请在此描述系统所用的磁带存储。2.8.5.网络设备（如路由器、交换机、负载均衡等

12、）说明：请在此描述系统专用的各种网络设备2.8.6.其它硬件设备（如加密机等）说明：请在此描述系统专用的各种硬件设备。2.9.后备资源说明：请在此描述系统各种后备资源，如系统的数据备份、硬件配件、软件备份等资源信息。2.9.1.数据备份说明：请在此描述系统可能有的操作系统、应用系统和应用数据备份，要说明备份等级、备份时间、备份介质、存放位置和保管人等信息。2.9.2.硬件配件说明：请在此描述系统可能有的各种硬件配件，如大机、小机、服务器、网络设备、计算机备件和其它相关配件。对这些配件要注明具体型号、序列号、服务期限、保存位置和保管人等信息。2.9.3.软件备份说明：请在此描述系统可能有的各种软

13、件备份，如操作系统、数据库系统、应用软件备份等。对这些备份要注明具体产品名称、版本号、保存位置和保管人等信息。2.10.用户分配说明：请在此描述系统可能有的各种用户，包括系统原有和自建的用户。要明确用户角色、用户组及其它相关信息。2.11.其他信息说明：请在此描述其它与系统相关的需要描述的信息。3.标准处置预案说明：请在此描述系统预设的一些标准处置预案，如主备机切换、应急库切换、灾备环境标准切换、硬件设备标准关闭、硬件设备标准重启等标准处置预案。下面列举了常见的一些标准处置预案但不完善，请预案编制人员根据系统实际情况酌情修订。在预案模板中，系统标准处置预案列举如下：1）主备机标准切换：该处置预

14、案应包含系统各种设备在运行中出现意外时，所涉及的各种应急切换处置步骤。设备包含大机、小机、服务器、网络设备、专用设备、存储等。2）应急库标准切换: 该处置预案应包含系统切换应急库的相关处置步骤。3）灾备环境标准切换：该处置预案应包含系统切换灾备环境的相关处置步骤。4）硬件设备标准关闭：该处置预案包含系统硬件设备关闭时的相关处置步骤。5）硬件设备标准重启：该处置预案包含系统硬件设备重启时的相关处置步骤。6）数据库标准关闭：该处置预案包含系统数据库关闭时的相关处置步骤7）数据库标准重启：该处置预案包含系统数据库重启时的相关处置步骤。8）应用服务标准关闭：该处置预案包含系统应用服务关闭时的相关处置步

15、骤。9）应用服务标准重启：该处置预案包含系统应用服务重启时的相关处置步骤。10）中间件标准关闭：该处置预案包含系统中间件关闭时的相关处置步骤。11）中间件标准重启：该处置预案包含系统中间件重启时的相关处置步骤。12）其它通用软件标准关闭：该处置预案包含系统其它通用软件关闭时的相关处置步骤。13）其它通用软件标准重启：该处置预案包含系统其它通用软件重启时的相关处置步骤。14）硬件模块故障标准处置：该处置预案应包含系统设备出现硬件模块故障，需要进行在线更换的相关处置步骤。涉及模块如电源、CPU、内存、RAID卡、光纤卡等。15）恢复回切标准处置：该处置预案应包含系统通过故障救治，排除故障后恢复到原

16、生产环境所涉及的各种回切处置。3.1.标准处置说明：请在此对标准处置的主要用途做简要描述。修订日期：说明：请在此描述该标准处置最近一次验证和修订的日期。处置时间：说明：请在此描述完成操作需要的时间。操作步骤：说明：请在此描述具体操作步骤，要求详细到具体的操作命令。验证步骤：说明：请在此描述操作完后的验证步骤，也要求详细到具体的操作命令。示例：标准处置1：主备机切换该标准处置主要起如下作用：生产环境邮件网关设备出现故障无法工作情况下，邮件网关备机通过该标准处置可紧急接管服务。修订日期：2011年3月10日。处置时间：处置时间20分钟。操作步骤：1）进入运维终端E:日常备份月报邮件网关邮件服务器策

17、略明细表，找到当日备份及证书备份；2）将备机的IP地址修改为生产主机地址(11.xxx.xxx.31)，重新启动网络；具体操作命令为：vi /etc/sysconfig/network-scripts/ifcfg-eth0），将IP ADDRESS项中的地址修改为生产地址，存盘退出编辑。3）将邮件网关31主机的网线拔除并插到备机对应网卡中；4）在超级用户权限下执行应用启动命令：#/etc/init.d/smgd restart。5）用administrator用户登录 https:/ 11.xxx.xxx.31/admin管理界面，进入系统设置-帮助设置向导-，输入（验证）备份的证书序号和激活

18、码。6）继续在系统设置-更新管理中，立即更新反病毒库和反垃圾邮件库。7）登录 https:/ 11.xxx.xxx.31:10000端口管理界面，在系统 备份管理导入终端中的备份文件，恢复系统配置及策略设置为31主机状态；验证步骤：1）登录 https:/ 11.xxx.xxx.31/admin 查看系统设置、系统面板，分别检查设置是否已经恢复成功，对外连接的服务器状态是否正常；2）继续在https:/ 11.xxx.xxx.31/admin，统计与日志中，分别查看邮件日志、投递邮件、系统状态、过滤统计等，测试收发邮件是否正常工作，过滤是否正常；3）登录https:/ 11.xxx.xxx.3

19、1:10000管理界面，在系统历史统计数据中，分别查看CPU、磁盘、内存、eth0网络接口卡等硬件运行情况；如以上三部分检查都正常，则说明系统主备机切换成功。4.故障快速定位4.1.快速定位流程说明：请在此描述当系统出现未知故障情况下，应急人员因按照何种预设流程进行故障排查，以便能快速定位系统故障。为规范和方便大家填写故障快速定位流程，在预案模版中预设一个空白的应急预案的维护流程，预案修订人员需要根据系统特点修改完善。4.2.定位流程描述说明：请根据上节的定位流程图，翔实描述各具体定位流程步骤。）1、2、4.3.故障快速定位排查内容说明：请在此详细描述在系统故障排查时，可能涉及的检查的内容、执

20、行的命令、指标阀值等。在预案模板中预设了快速定位排查表，主要涉及应用应用软件、网络状态、硬件状态、通用软件等检查内容。预案修订人员要求认真考虑排查的优先顺序，按照最快故障排查定位的原则对优先顺序进行排序。每步排查步骤都要求有检查内容、操作步骤、操作/复核人、检查结果等具体信息。并要求根据排查结果指定下一步检查内容。如故障定位检查需要相关系统配合，也请按照排查顺序，将相关检查内容添加到排查表中。如检查内容较多，可在排查表中简要描述检查项，详细内容放在预案附录中。5.系统应急场景分类及描述5.1.故障场景分类说明：请预案修订人员根据系统特点，在此对故障场景进行分类并简要描述，要求故障场景分类应能覆

21、盖系统所有可能出现的故障场景。示例：系统故障场景按照故障特点分为五类：硬件故障场景、通用软件故障场景、应用软件故障场景、网络故障场景和其它故障场景。1.硬件故障场景：主要包含系统硬件方面的故障场景。例如。2.通用软件故障场景：主要操作系统、数据库软件、中间件等方面的故障场景。例如。3.应用软件故障场景：主要包含业务应用系统方面的故障。例如。4.网络故障场景：主要包含与网络相关的故障场景。例如。5.其它故障场景：主要包含系统相关的外联系统、外部环境等方面的故障。例如。5.2.硬件故障场景说明：请在此详细列举并描述系统可能出现的各种硬件场景，在预案模板中列举了一些常见的故障事件，预案编制人员要根据

22、系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。（预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通过故障处理流程和应急处理步骤。）在预案模板中，系统硬件常见故障事件列举如下：1）大型机异常报错2）小型机异常报错3）加密机设备异常4）服务器异常宕机5）设备网卡异常6）设备CPU异常7）设备硬盘异常8）设备内存异常9）设备光纤卡异常10）设备RAID卡异常11）设备HA卡异常12）设备串口卡异常13）设备其它部件异常5.2.1.XX故障事件说明：请在XX处补全具

23、体故障事件名称。修订日期：说明：请在此描述该故障事件处置最近一次验证和修订的日期。事件级别：说明：请在此设定该故障事件等级（一级/二级/三级/四级/五级/六级）。划分原则请按照中国建设银行信息系统生产事件等级认定规定(试行)(建总发2010138号)对事件级别的划分。授权级别：说明：请在此设定执行该故障救治步骤所需要的授权级别中心领导授权/部室负责人授权/部室日常授权)。授权级别的设定可参照中心总体预案中的授权级别设定原则。处置时间：说明：请在此在设定执行救治措施，完成故障处置该所需要的时间。场景描述：说明：请在此简要描述该故障场景可能出现的状况和现象。验证方法：说明：请在此简要描述可确认该故

24、障事件验证方法和手段。现场保护：说明：请在此描述进行现场保护所使用的现场收集脚本。部分脚本可见附录。救治步骤：说明：请在此此翔实描述故障救治步骤，要求细化到具体的操作指令。如救治步骤调用前面标准处置章节的内容，则必须在此注明调用的具体章节号及名称。示例：邮件网关集群中一台设备硬件宕机修订日期：最近一次验证和修订的日期为2011年3月11日事件级别：五级事件授权级别：部室负责人授权处理时间：26分钟场景描述：1.应用监控人员通过邮件、短信、实时监控等渠道得知主机不可用。2.应用用户可以ping通主机IP地址，但不能从控制台登入操作系统，且未发现硬件故障灯亮。验证方法：（3分钟）1.进入主机房检查

25、主机上是否有硬件报错或是否有黄灯闪，如果没有则说明不是因为硬件的损坏导致的主机不可用。现场保护：（3分钟）1)如果系统无法响应且屏幕有信息，用手机将提示信息拍下，或者用笔将文字记录下来；2)系统重启后，执行errspot.sh脚本将系统相关的信息和日志收集起来，以备分析故障时使用。救治步骤：（20分钟）1)将备机的IP地址修改为生产主机地址(11.xxx.xxx.31)，重新启动网络；具体操作命令为：vi /etc/sysconfig/network-scripts/ifcfg-eth0），将IP ADDRESS项中的地址修改为生产地址，存盘退出编辑。2)将邮件网关31主机的网线拔除并插到备机

26、对应网卡中；3)在超级用户权限下执行应用启动命令：#/etc/init.d/smgd restart。4)用administrator用户登录 https:/ 11.xxx.xxx.31/admin管理界面，进入系统设置-帮助设置向导-，输入（验证）备份的证书序号和激活码。5)继续在系统设置-更新管理中，立即更新反病毒库和反垃圾邮件库。6)登录 https:/ 11.xxx.xxx.31:10000端口管理界面，在系统 备份管理导入终端中的备份文件，恢复系统配置及策略设置为31主机状态；5.3.通用软件故障场景说明：请在此详细列举并描述系统所有可能出现的操作系统、数据库、中间件等通用软件故障场

27、景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。（预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通过故障处理流程和应急处理步骤。）在预案模板中，系统通用软件常见故障事件列举如下：1）系统数据库崩溃2）数据库存储损坏3）数据库无法正常处理请求4）数据库表死锁5）数据库表数据无法插入6）逻辑日志满导致数据库挂起7）数据库启动失败8）数据库交易处理缓慢9）数据库表空间OffLine10）数据库无法连接或无

28、响应11）数据库性能极剧下降12）数据库短时间内不可用13）数据库实例监听宕掉14）数据库实例出现大量等待事件15）数据库实例无法切换逻辑日志16）Tuxedo服务异常或僵死17）weblogic实例异常或僵死18）AIX操作系统异常或报错19）LINUX操作系统异常或报错20）HP-UX操作系统异常或报错21）WINDOW操作系统异常或报错22）中间件异常或报错5.4.应用软件故障场景说明：请在此详细列举并描述系统所有可能出现的应用故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案

29、模板中，系统应用软件常见故障事件列举如下：1）系统应用不能正常运行2）应用进程异常3）系统应用无法启动4）系统应用响应缓慢或无响应5）XX交易异常报错6）XX交易流量异常下降7）XX交易成功率异常下降8）用户无法登陆应用界面9）用户连接应用异常报错10）应用服务队列堵塞11）应用出现大量繁忙，交易时间延长12）应用共享空间异常13）应用处理性能下降14）部分分行应用堵塞，无法连接总行15）某类特定交易成功率异常16）某类特定交易流量异常下降5.5.网路故障场景说明：请在此详细列举并描述系统所有可能出现的网络故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。

30、修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统网络常见故障事件列举如下：1）外联节点网络异常中断2）网络外联服务不可用3）AP与DB间网络异常或不可用4）WEB与AP间网络异常或不可用5）网络端口流量异常升高/下降6）防火墙连接数异常7）IP地址异常或出现冲突8）数据传输中出现异常丢包9）病毒爆发，堵塞网络10）网络被攻击，不可用11）F5服务异常或报错5.6.其它故障场景说明：请在此详细列举并描述系统所有可能出现的外部环境、外联、外部系统等故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统其它常见故障事件列举如下：1）机柜异常掉电2）外联系统交易异常