电子政务运维中心机房应急预案.docx

1、电子政务运维中心机房应急预案电子政务运维中心机房应急预案 *电子政务运维服务中心机房 应急预案 一、目的 . 3 二、基本原则 . 3 三、适用范围 . 3 四、应急事件级别定义 . 4 五、组织机构及职责 . 5 5.1 应急领导小组组织机构. 5 5.2 应急领导小组职责 . 5 5.3应急小组成员职责 . 5 六、应急响应机制. 6 6.1基本处理流程 . 6 七、应急方案 . 7 7.1互联网中断应急预案（暂定为二级事件） . 7 7.2 运维中心ITM监控软件应急预案（暂定为二级事件）. 7 7.2.1运维中心ITM监控软件部署情况 . 7 7.2.2数据库操作部分 . 8 7.2.

2、3 ITM操作部分 . 8 7.2.4 ITSM操作部分 . 9 7.3 运维中心托管应用应急预案（暂定为三级事件）. 11 7.4 TSM异地备份应急预案（暂定为二级事件） . 11 7.5 运维中心市电中断应急预案（暂定为二级事件）. 12 7.5.1 运维机房操作流程 . 12 7.5.2 柴油发电机房操作流程 . 13 7.6发电机故障应急预案（暂定为二级事件） . 15 一、目的 为科学应对网络与信息安全突发事件，提高我省电子政务运维服务中心应对突发应急事件的处理能力，确保信息系统安全运行，维护网络和系统正常运行，降低信息安全事件对运维机房所造成的损失和影响，编制本预案。 二、基本原

3、则 (1)居安思危，预防为主。实行突发事件统一管理、统一指挥、各级负责的原则； (2)统一领导，分级负责,全面规划、及时发现、快速反应、措施果断的原则。依据*电子政务统一平台故障等级划分对突发事件进行分级管理,并按照事件级别迅速上报相关领导和责任人。 (3)制度规范，加强管理。严格按照*电子政务网运行维护规范、*电子政务中心机房维护作业规范事件处理流程规范操作，使突发应急的工作规范事件化、制度化。 (4)快速反应，协同应对。当突发事件发生时，各级要立即按应急预案，投入应急工作；加强各个部门配合协作。形成统一指挥、反应灵敏、功能齐全、协调有序、运转高效的应急管理机制。 (5)主动报告原则：当突发

4、事件发生后，要及时报告应急预案实施情况。 三、适用范围 运维中心互联网中断应急预案 运维中心运维监控软件应急预案 运维中心托管系统应急预案 运维中心异地备份应急预案 运维中心市电中断应急预案 运维中心发电机故障后应急预案 四、应急事件级别定义 根据网络与信息安全突发公共事件的可控性、严重程度和影响范围，一般分为四级：I级（特别重大）、II级（重大）、III级（较大）、IV级（一般）。国家有关法律法规有明确规定的，按国家有关规定执行。 （1）I级（特别重大）：重要网络与信息安全系统发生全市性大规模瘫痪，事态发展超出相关主管部门的控制能力，对国家安全、社会秩序、经济建设和公共利益造成特别严重损害的

5、突发公共事件。 （2）II级（重大）：重要网络与信息安全系统造成全市性瘫痪，对国家安全、社会秩序、经济建设和公共利益造成严重损害，需要跨部门、跨地区协同处置的突发公共事件。 （3）III级（较大）：某一区域的重要网络与信息安全系统瘫痪，对国家安全、社会秩序、经济建设和公共利益造成一定损害，但不需要跨部门、跨地区协同处置的突发公共事件。 （4）IV级（一般）：重要的网络与信息安全系统受到一定程度的损坏，对公民、法人和其他组织的权益有一定影响，但不危害国家安全、社会秩序、经济建设和公共利益的突发公共事件。 五、组织机构及职责 5.1 应急领导小组组织机构 组 长： 副组长： 成 员： 5.2 应急

6、领导小组职责 （1）负责编制、修订所辖范围内突发应急事件的应急预案。 （2）负责协调和督促整个应急事件的处理过程。有针对性地组织专业技术人员对应急突发事件进行增援处理；必要时去现场督促，对于超出界定的突发事件，尽快提出紧急补救措施进行恢复。 （3）应急事件处理结束后，协调解决故障现场的恢复生产工作。 （4）定期或不定期地对应急小组成员进行技能培训和应急演练。 5.3应急小组成员职责 （1）值班人员平时应做好应急事件的监控、预警工作，当应急事件发生后，迅速生产事件上报相关领导，并进行先期处置，如有必要通知二、三线工程师。 （2）二线、三线工程师在接到应急信息后，应积极配合值班人员进行先期处置，迅

7、速赶往故障现场提供技术援助。 （3）对于在应急故障处理期间发生的新问题、新情况，应认真登记，及时上报。对于超出应急预案界定的应急事件，应及时汇报应急领导小组，争取尽早提出补救措施进行恢复。 六、应急响应机制 6.1基本处理流程 （1）值班人员平时应做好应急事件的监控工作，对于突发事件应认真分析、准确判定故障发生的数据域，负责跟踪该事件直至其结束。对于不在运维中心的故障，应在第一时间内通知负责人去现场处理，密切关注事件流程及进展情况，并做好登记工作上报领导。 （2）正常情况下，要求值班人员在10分钟内进行事件确认。如果属于一般事件则按照事件流程进行分派处理，否则应迅速启动应急预案，并严格按照应急

8、预案所规定的步骤快速实施应急处置，及时汇报上级领导，掌握实时处理情况。 （3）在处理过程中，如需其他部门去现场增援处理，应及时向上级领导部门汇报，协调沟通，尽快联系技术工程师或厂家技术支持赶赴现场援助处理。 七、应急方案 7.1互联网中断应急预案（暂定为二级事件） （1）密切关注，积极与其他机房值班人员取得联系，准确判断故障位置、数据域。如故障区域属于运维中心范围之内，应立即启动应急预案上报相关领导，同时通知其他机房值班人员加紧监控力度。 （2）检查网络硬件设备运行状态，如发现指示灯有异常告警，及时与对端进行确认。必要时联系市广电工程师检查物理链路，如情况属实，尽快督促广电工程师去现场进行抢修

9、，并上报相关领导。 （3）如发现故障属硬件原因所致，尽快启用备份设备或备用端口，争取将损失减少至最低水平，及时汇报领导，协调更换或维修。 （4）登录核心交换机检查配置信息及其运行情况，如果发现配置信息有被篡改的情况，尽快启用备份数据进行恢复。 （5）坚持由简到繁，由大到小的原则逐步缩小故障范围，最后定位故障点。如果发现网络内部存在严重病毒感染或网络攻击，果断断网，尽快通知相关责任人查杀病毒，并告知技术支持寻求补救措施。 7.2 运维中心ITM监控软件应急预案（暂定为二级事件） 7.2.1运维中心ITM监控软件部署情况 7.2.2数据库操作部分 应用系统要运行，首先应保证数据库能正常工作。如有故

10、障，可以利用vnc远程登录，然后在桌面打开一个命令行终端，输入如下命令： cd /opt/oracle/product/OraHome/bin /进入工作目录 ps ef|grep ora /查看服务进程 如果输出结果与下图类似，则说明oracle数据库正在运行。否则说明数据库有异常，需要手动重启。 kill -9 * /杀死相关进程 su oracle /切换用户 dbstart $ORACLE_HOME /启动数据库服务进程 7.2.3 ITM操作部分 在确保数据库正常运行后，才能依次在每台监控服务器上启动ITM服务进程，具体命令如下： cd /var/ITManager/bin /进入工

11、作目录 ps ef|grep ITM /查看服务进程 如果有ITMserver进程，则说明ITM服务正在运行。否则，应手动重启。 nohup ./ITMnurse & /启动ITM服务进程 注意：在重新启动ITMnurse服务前，一定要将以前的相关进程全部杀死，否则它将去自动调用ITM服务，导致启动失败。整个启动过程较慢，大约需要8至10分钟，可以在监控区网管机上通过vnc远程进行操作。 目前，各ITM应用的syslo信息也存放于本地物理磁盘，所以当应用启动后，还应检查syslog运行情况，具体命令如下： ps ef|grep syslog /查看服务syslog进程 cd /var/ITMa

12、nager/syslogcollector /进入工作目录 nohup ./syslogrun.sh & /启动syslog服务进程 ps ef|grep syslog /核查服务syslog进程 kill -9 XXXX /杀死相关进程 dbshut /停掉数据库进程 Poweroff /关闭服务器 7.2.4 ITSM操作部分 ITSM数据库和应用均部署在*.15.36.24服务器上，可以通过vnc或远程桌面进行登录，进入到服务管理界面，查看ITSMServer、ITSMProxy、itsmdb、ITSMSms及Apache Tomcat cas进程是否正常启动，如异常则应手动进行重启，并

13、作记录。具体情况如下图所示： 7.3 运维中心托管应用应急预案（暂定为三级事件） （1）检查网络连接、配置是否正常； （2）利用vnc或远程桌面登录服务器，检查本地服务进程是否正常，如有问题，手动重启相应服务，并做好记录； （3）检查服务器是否感染病毒，查杀病毒。如发现系统正在遭受网络攻击或被黑客控制，果断断网，并上报托管部门相应领导，以便尽早处理； （4）积极联系托管单位来机房检查、确认，利用备份数据进行恢复。 7.4 tsm异地备份应急预案（暂定为二级事件） （1）一般的tsm故障均可以通过系统重启进行恢复。但重启之前必须先检查最近tsm备份情况，系统重新之后应确保带库已正确被挂载，以便能

14、正常备份。 （2）TSM存储备份关机顺序，必须严格按照主机虚拟带库扩展柜进行，可通过KVM登录，按“ctrl键”进行选择。但需要注意：每台设备应间隔3-5分钟再关机。 （3）TSM存储备份开机顺序，必须严格按照扩展柜虚拟带库主机进行，每台设备应相隔3-分钟再开机。等主机顺利启动后，需要立即检查带库挂载情况，如有异常，应立即重启。 （4）如发现系统正在遭受网络攻击或被黑客控制，应果断断网，查杀病毒并尽快上报领导，以便查明原因。 （5）系统恢复后，应及时检查最近备份数据，并及时通知相关负责人来机房验证备份数据的完整性及其可恢复性。 7.5 运维中心市电中断应急预案（暂定为二级事件） 运维机房市电中

15、断后，应立即电话联系大楼物业（物业值班室电话：88312910转25，82300966），询问停电原因并估计恢复时间，并上报主管部门领导。如若停电时间超过20分钟必须做发电前准备工作，并启动应急预案，具体操作分两部分进行。 7.5.1 运维机房操作流程 7.5.1.1发电前准备工作 （1）关闭市电配电柜内热水器、主任办公室、运维一、运维二、运维三、机房空调、监控区空调，电视墙等大功耗用电设备开关； （2）确认市电配电柜内钥匙开关是否已置于自动档，如不符，将钥匙开关置于自动挡； （3）电话联系发电人员，告知机房内发电准备工作已经就绪，等待发电机送电； 7.5.1.2发电机正常供电后 （1）电话联

16、系发电机房人员，确认机房准备一切就绪，可以送电； （2）等待发电机供电稳定后，将市电配电柜内钥匙开关置于手动档； （3）检查配电柜面板电压表三相电压是否均在400伏特左右； （4）检查配电柜面板三个电流表指示针是否均在40安培以下； （5）检查UPS控制面板是否能正常供电（此时显示“旁路供电” ），确认输入电源频率在50赫兹左右； 注意：在发电机供电时，操作人员不得远离机房，并随时注意市电配电柜及UPS主机表值的变化和告警！ 7.5.1.3 市电恢复后 （1）市电恢复大约5-10分钟后，与物业电话联系确认市电供电已经稳定； （2）电话联系发电人员，告知发电机可以停止供电； （3）当发电机停止供

17、电后，将市电配电柜内钥匙开关置于自动档（此时市电已开始供电）； （4）检查配电柜面板电压表三相电压是否均在400伏特左右； （5）检查配电柜面板三个电流表指示针是否均在40安培以下； （6）检查UPS控制面板是否能正常供电，确认输入电源频率在50赫兹左右； （7）确认设备工作正常后，将市电配电柜内钥匙开关置于手动档； （8）检查各办公室设备情况并通知准备供电，保障各位办公室人员人身安全及设备安全； （9）依次复位市电配电柜内热水器、主任办公室、运维一、运维二、运维三、机房空调、监控区空调、电视墙等电器开关。 注意事项：每个开关复位时应间隔5-10秒，以免引起浪涌现象损坏配电及用电设备。 7.5

18、.2 柴油发电机房操作流程 7.5.2.1启动柴油发电机前的检查及准备工作 （1）检查机油、冷却液液面，是否在规定的范围内； （2）检查柴油供油管是否已经放入油箱并尽可能插入油箱底部； （3）检查供油系统是否正常； （4）检查电瓶电缆连接是否牢靠； （5）检查发电机配电箱的送电开关是否置于“分”状态； 7.5.2.2 启动柴油发电机 （1）插入启动钥匙将启动开关向右旋转置于打开位置； （2）按下启动按钮，同时小幅度摆动（左右摆动）油门手柄，待发动机启动后立即松开启动按钮（注意：每次启动时间不要超过5秒，启动间隔不要少于10秒）； （3）将油门手柄调置较小的位置（发动机匀速转动即可），保持发动机

19、匀速运转5-10分钟，待发动机转速正常后才可调整油门手柄； （4）将油门手柄慢慢向右调整，并注意频率表（指针最高指向50赫兹）； （5）随着油门手柄的逐渐开启，频率表指针指向50赫兹时，稳住油门手柄并将油门手柄固定手轮向右旋转固定牢靠； 7.5.2.3 柴油发电机向运维机房供电 （1）联系机房值班当班人员，确认市电配电柜钥匙开关已经置于自动状态； （2）询问机房工作人员是否可以拉闸送电； （3）待机房工作人员确认可以送电时，将发电机控制箱的送电开关向上调至“合”状态，此时已将电送至机房； （4）注意发电机配电箱的电流表、频率表的变化，随时调整油门手柄，使频率表指针固定在50赫兹（刚刚加入负载时

20、，频率值会变小，应及时调整油门手柄提高频率至50赫兹）； （5）随时注意燃料液面，及时补充发电机所需燃料（如果在更换燃料时，发电机熄火，应立即通知机房工作人员）。 7.5.2.4 正常发电期间 注意：在发电机运转时，操作人员不得远离发电机，并随时注意发电机表值的变化！ （1）发电机控制箱部分： a、注意频率表数值的变化（应控制在50赫兹）； b、注意电流表数值的变化（每块电流表不得超过40安培）； c、注意电压表数值的变化（每项电压不得高于430伏特）； d、用手触摸发电机机壳检查表面温度是否正常； （2）柴油机控制箱部分： a、注意水温表的变化（表针应指在绿格部分）； b、注意油温表的变化（

21、表针应指在绿格部分）； c、注意油压表的变化（表针应指在绿格部分）； d、注意电流表的变化（表针应指向“+”方向）； 7.5.2.5 柴油发电机停机 （1）联系机房工作人员，确认发电机断供准备工作是否就绪； （2）待机房工作人员确认可以断电后，将发电机控制箱的送电开关向下调至“分”状态，并立即将油门手柄向左调整到较小状态； （3）通知机房工作人员已将发电机供电开关断开； （4）保持发动机低转速运转3-5分钟后，将熄火开关拉置熄火位置（向右拉），直至发动机完全停止转动； （5）将启动开关旋转至中间档位，拔出钥匙即完成熄火； （6）将柴油输油管从油箱中取出，并固定在较高位置（防止油管中的柴油外漏）

22、； （7）盖好油箱，并填写发电机操作、运转登记表。 7.6发电机故障应急预案（暂定为二级事件） 特殊情况下，市电中断后，启动发电机发电时，发电机有故障，不能正常发电，值班人员应及时联系确认，尽快上报领导，寻找其他解决方案。必要时关闭运维中心机房内非关键业务，以保证呼叫中心及ITM系统能正常使用。 （1）监控区的网管机内、外网各留一台，其余的均可以关闭。 （2）按照主机虚拟带库扩展柜顺序，关闭TSM备份服务器，H3C存储参照TSM执行。 （3）在监控区通过网管机或VNC关闭省政府动力环境监控、省政府视频监控、省委动力环境监控、政协视频监控以及运维中心视频监控等。 （4）4列5柜内所有服务器均属测

23、试组维护，负责人为相红利，除11/235需要 登录系统正常关机外，其他的均可以直接关机； （a）192.168.7.235（用户名/密码：administrator/zhaoyikui）； （b）192.168.7.11 (用户名/密码：administrator/testsvn)； （5）4列 4柜的CVS服务器、陕投门户测试服务器均可直接关闭；公司邮件、门户及病毒服务器，关闭之前应与李宗斌进行确认。 （6）小机的关机步骤： a、HMC的操作 运维机房两台IBMP55A无显示输出设备，须受控于HMC进行管理，HMC加电后自动引导系统至登陆界面，使用HMC默认管理口令进行登陆，管理用户:hsc

24、root 口令：abc123，登陆后点击左侧控制列表中的 “服务器管理(M)”项既可查看到该HMC所管理的P系列小型机，在运维机房环境中，该HMC管理了两台P55A型小型机，若某台小型机连接状态提示No Connect，则检查HMC服务器网口到交换机，以及P55A后端HMC口到交换机的网络链路是否正常。 注：运维机房HMC为英文环境，请如图对照进行操作 b、IBM小机停机步骤 运维机房的两台P55A均进行了分区，在停止P55A时，请先关闭各个分区，途中的all分区为全分区，为管理所用，不用进行操作，操作仅对各P55A的lpar1以及lpar2进行，选中分区后在右键功能菜单中选择关闭分区即可，待

25、分区状态为未激活时，可表明分区已被关闭，依次对4个分区进行同样操作。 当所有分区关闭完成后，对这两台P55A进行Poweroff操作，如下图所示： 再弹出的对话框中选择正常关闭 待受管机器状态为Poweroff时候，说明该主机已断电，机器正常关闭。 （7）关闭UPS配电柜内暂时不使用的空开开关。 （8）当UPS电磁容量降至50%时，若市电仍无准确的恢复时间，此时就须将ITM系统关闭，以保证呼叫中心的电话畅通和ITSM正常运行。 （9）当UPS电磁容量降至20%时，若市电仍无准确的恢复时间，此时应暂时关闭呼叫中心主机，关闭机房内所以空开开关。同时将客服电话与所有外线电话线直接相连，密切留意呼叫电话及市电供应情况。