项目应急预案.docx

1、项目应急预案项目应急预案第1 1 章应急预案1.1 应急响应计划应急计划是指一项已识别的风险事件发生时，项目团队将采用预先确定的措施。例如：管理项目团队知道，一个新的软件包不能及时发布，他们将不能将其用于他们的项目上，那么他们可能会有一个应急计划。1.1.1 应急响应计划的制定应制定信息系统的应急响应计划，其中至少应该包括以下几个方面的内容： 应急响应的目标； 应急响应所涉及的范围； 应急响应工作组织架构； 参与人员的角色和职责； 应急响应的流程； 应急响应的更新机制； 应急响应工作的考核。业务系统应急响应计划须经相关管理部门批准，符合国家相应规定的特定要求。1.1.2 应急响应计划的培训每年

2、在一定时期应对员工进行应急响应计划的基本培训，使员工熟悉紧急响应的流程，明确各自的角色和责任。在培训中应提供紧急响应事件案例进行讲解分析p ，提高处理问题的能力。模拟紧急响应事件环境进行实际的演练，提高实际操作能力。每当出现重大事件后或出现相应响应流程调整后立即进行培训。1.1.2.1 应急响应计划的测试应周期性地测试应急响应计划。出现应急计划的调整后立即进行相应测试。1.1.2.2 应急响应计划的执行应严格按急响应计划进行事件处理。对每一次执行过程和结果向有关部门报告。1.1.2.3 应急储备计划应急储备是项目发起人为了应对项目范围或质量上可能发生的变更而持有的预备资金。它可用来转移成本风险

3、或进度风险。例如：如果项目因为员工不熟悉一些新技术而导致其偏离既定的轨道，那么项目发起人会从应急储备中提出额外的资金，来聘请公司外的咨询师，培训和指导项目人员采用新技术。在本项目运维服务过程中，对项目组人员突出：“防范为主，加强监控、总结经验、及时响应”意识教育，宣传普及运维应急保障技术服务知识，经常性地做好系统环境中突发事件的思想准备、预案准备、机制准备和工作准备，提高运维技术服务的综合保障水平。加强对系统隐患的预警与监测，发现和防范重大信息系统突发性事件，及时采取有效的可控措施，迅速控制事件影响范围，力争将损失降到最低程度。1.2 应急事件 故障的 描述1.2.1 故障的分类1.2.1.1

4、 网络故障网络故障按网络故障的性质主要为物理故障、逻辑故障；按照网络故障的对象主要分为线路故障、路由器故障和主机配置不当。1.2.1.2 主机 及硬件 故障硬件故障主要包括主板故障、 故障、内存故障、存储故障、网络模块故障、I/O 故障等。1.2.1.2.1 故障处理预案建议每个中心做一套备品备用机，以应对硬件设备故障后立即恢复使用 1.2.1.3 链路故障链路故障包括传输介质故障、传输链路干扰等内容。1.2.1.3.1 故障处理预案目前主业务系统设计为双链路，设有专线 MPLS 链路和备用的 链路，专线故障自动切换到 链路运行。1.2.1.4 系统软件故障系统软件故障主要包括操作系统故障、并

5、行文件系统故障、共享文件系统故障、数据库故障、分级存储管理软件故障、备份软件故障、大文件传输系统软件故障。1.2.1.4.1 故障处理预案目前中心业务传输为本地 z 储设计系统设计为双链路，设有专线 MPLS 链路和备用的 链路，专线故障自动切换到 链路运行。1.2.1.5 应用系统故障应用系统故障包括各应用系统产生的硬件、软件等故障。1.2.1.5.1 故障处理预案应用系统搭建为双系统备份，发生故障会自动切换，并且有负载均衡做数据均衡，分摊到备份系统中处理数据。1.2.1.6 人为故障人为故障主要包括网络硬件操作故障、系统软件操作故障、中间件操作故障、应用系统操作故障等。1.2.1.6.1

6、故障处理预案24 小时业务咨询和技术保障，协助前方排查认为故障并处理解决问题。1.2.2 故障的分级结合预警分类惯例，故障划分为四个等级，严重程度由重到轻为：1.2.2.1 一级故障因特别重大突发事件引发的，有可能造成数据传输大面积中断、系统崩溃等情况，以及需要系统保障应急准备的重大情况，属于一级故障，一级故障在本系统内可被认为灾难性故障。例如因各种原因造成的数据同步丢失、系统崩溃、传输长时间中断、资料严重残缺，而且难以恢复，都可以被认为是灾难性故障。1.2.2.2 二级故障因重大突发事件引起的，有可能造成系统运行异常、数据资料丢失等需要系统保障应急准备的情况，属于二级故障，二级故障在本系统内

7、可以被认为紧急性故障，有很强的时效要求。例如由于短时间内数据传输峰值过高导致各应用系统间无法完成数据传输而出现系统崩溃等需要及时派出的故障。1.2.2.3 三级故障因较大突发事件引起的，有可能造成具体应用系统单点或多点运行故障，属于三级故障。例如由于系统文件被误删导致系统运行不稳定等情况。1.2.2.4 四级故障因一般事件引起的、影响比较轻微的故障，属于四级故障。例如由于上报的监管数据长期格式不规范导致系统无法处理从而一直抛出异常，错误日志和无用数据积压等情况。1.2.3 项目故障 事件 列表故障级别故障分类 一级故障 二级故障 三级故障 四级故障 网络故障 网络设备 通讯链路 全部用户范围下

8、网络中断中断时间 大于 10 分钟 全部用户范围下网络中断时间 210 分钟 全部用户范围下网络中断中断时间 小于 2 分钟 部分用户范围下网络中断中断时间 小于 2 分钟 部分用户范围下网络中断时间 大于 10 分钟 部分用户范围下网络中断中断时间 210 分钟 硬件故障 网络设备 主机设备 存储设备 安全设备 全部用户范围下设备断电或无响应中断时间 大于 10 分钟 全部用户范围下设备断电或无响应时间 2 分钟10 分钟 全部用户范围下设备断电或无响应时间 小于 2 分钟 部分用户范围下设备断电或无响应时间 小于 2 分钟 部分用户范围下设备断电或无响应时间 大于 10 分钟 部分用户范围

9、下设备断电或无响应时间 2 分钟10 分钟 应用系统故障 全部用户范围下应用系统中断时间 大于 10 分钟 全部用户范围下应用系统中断、无响应时间 210 分钟 全部用户范围下应用系统中断、无响应时间 小于 2 分钟 部分用户范围下应用系统中断、无响应时间 小于 2 分钟 部分用户范围下应用系统中断、无响应时间 大于 10 分钟 部分用户范围下应用系统中断、无响应时间 210 分钟 系统软件故障 操作系统 数据库 中间件 系统崩溃 文件系统被破坏、业务数据丢失 系统文件丢失 系统日志报警 项目故障事件列表1.3 针对本项目应急人员组织应急预案的人员组织分工根据故障发生时的职责分为四类：1、项目

10、组领导 在紧急告警发生时，对应急工作进行统一指挥和组织调配。2、项目组相关人员 包括本项目相关人员，在重要告警和轻度告警发生时负责对所辖范围内的应急工作进行统一指挥和组织调配；在紧急告警发生时协助项目组领导进行应急指挥工作。3、一线运维驻场人员 特指本项目日常运维人员，在故障发生时负责故障恢复，或协助应用系统软件集成商及软硬件原厂商进行故障恢复。4、二线后备团队人员、应用系统软件承建商 系统的提供方，对系统负有故障排查和故障恢复责任，在紧急告警、重要告警和轻度告警发生时负责故障恢复，在警示故障发生时负责配合运维人员的故障恢复工作。在故障发生时，以上四类应急人员根据故障的等级承担不同的职责，如下

11、表所示：故障人员职责分配表（-指挥-配合指挥√-解决-电话配合解决）故障等级 使用方项目领导 使用方项目组相关人员 一线运维驻场人员 二线后备团队人员 应用系统软件承建商 软硬件原厂商 紧急告警 √ √ √ √ 重要告警 √ /√ √ √ 轻度告警 √ /√ √ √ 警示√ √ √ √ 1.4 针对本项目应急响应处理流程应急报告流程运维人员 甲方项目组相关人员 甲方项目组领导总集成商应用系统软

12、件承建商软硬件原厂商发生故障判定故障等级统一指挥人员调配故障恢复结束统一指挥人员调配紧急告警重要告警轻度告警评估报告启动应急预案警示紧急告警重要告警轻度告警判定故障等级电话支持警示 应急报告流程图应急报告流程甬道图如上所示。运维人员在系统发生故障时，首先对系统故障分级进行判定，并进行故障分级响应针对本项目应急处置。1.5 一级故障处理预案1.5.1 预案目的本预案为针对本项目运维实施过程中紧急告警故障处理专项预案，其目的主要是为了进一步规范处理方法和处理程序，提高对此类事件的反应速度。1.5.2 适用范围本预案适用于针对系统运维实施过程中紧急告警故障情况下的应急响应工作。本预案启动后，其他运维

13、应急预案与本预案相冲突的，按照本预案执行。法律、法规和规章另有规定的从其规定。1.5.3 启动条件本预案的启动条件为：发现针对系统运维实施过程中紧急告警故障现象时启动本预案。1.5.4 处理预案（1）应急分级：紧急告警 （2）响应时间要求：一线运维驻场人员需要立即响应，如需要二线后备团队人员、应用系统软件承建商及软硬件原厂商到场支持，需在 2 小时内到达数据中心机房现场并解决问题。（3）参与人员：紧急告警响应，服务经理立即组织项目组成员组建事件处理小组，同时视情况协调使用方运维小组和使用方项目组相关领导的参与。（4）汇报层次：应首先汇报给服务经理，服务经理需要在第一时间汇报给使用方项目组领导，

14、及本项目组技术负责人，整个事件响应由使用方项目组领导统一协调。（5）调用资：紧急告警响应需要在部局以及故障系统所属运维方博雅软件调动资，涉及到的所有技术和非技术部门都无条件参与。以首先解决安全问题为原则，保障事件得到快速解决。（6）事件处理过程：1）判断是否存在网络故障及处置； 2）判断是否存在主机等硬件故障及处置； 3）判断主机故障及排除 4）判断是否是应用故障及排除； 1.6 二级故障故障处理预案1.6.1 预案目的本预案为针对系统运维实施过程中紧急告警故障处理专项预案，其目的主要是为了进一步规范处理方法和处理程序，提高对此类事件的反应速度。1.6.2 适用范围本预案适用于针对系统运维实施

15、过程中紧急告警故障情况下的应急响应工作。本预案启动后，其他运维应急预案与本预案相冲突的，按照本预案执行。法律、法规和规章另有规定的从其规定。1.6.3 启动条件本预案的启动条件为：发现针对系统运维实施过程中紧急告警故障现象时启动本预案。1.6.4 处理预案（1）应急分级：重要告警 （2）响应时间要求：重要告警需要立即响应，人员需在 2 小时内到机房现场解决问题。（3）参与人员：紧急告警响应，服务经理立即组织项目组成员组建事件处理小组，同时视情况协调使用方运维小组和使用方项目组相关领导的参与。（4）汇报层次：应首先汇报给服务经理，服务经理需要在第一时间汇报给使用方项目组领导，整个事件响应由使用方项目组领导统一协调。（5）调用资：紧急告警响应需要在部局以及故障系统所属运维方博雅调动资，涉及到的所有技术和非技术部门都无条件参与。以首先解决安全问题为原则，保障事件得到快速解决。（6）事件处理：1）发布故障通知，通知重要用户故障情况； 2），启动相关应急预案，并配合排除故障； 3）配合验证故障排除情况； 4）故障排除后，取消故障通知，通知重要用户故障排除情况； 1.7 三级故障故障处理预案1.7.1 预案目的本预案为针对系统运维实施过程中紧急告警故障处理专项预案，其