600MW机组DCS服务器故障及处理事故预案.docx

600MW机组DCS服务器故障及处理事故预案.docx

《600MW机组DCS服务器故障及处理事故预案.docx》由会员分享，可在线阅读，更多相关《600MW机组DCS服务器故障及处理事故预案.docx（12页珍藏版）》请在冰豆网上搜索。

600MW机组DCS服务器故障及处理事故预案

山西兆光发电有限责任公司

600MW机组DCS服务器故障及处理事故预案

批准：

审核：

编制：

2013年9月8日

600MW机组DCS服务器故障及处理事故预案

山西兆光发电有限责任公司二期600MW四号机组于2013年8月17日发生一次DCS服务器死机故障，严重影响到机组的安全稳定运行。

为提高运行人员的事故处理能力和仪电维护人员的应急处理能力，保证机组在发生DCS服务器故障后能够实现有序处理、及时消除故障、避免扩大事故，从运行、热控两方面对发生DCS服务器死机后故障处理过程编写此处理预案，作为现场处理的指导建议。

一、基本情况：

我公司二期600MW超临界机组DCS系统采用西门子公司的T-3000系统，人机接口配置为两台DCS服务器带五台运行操作员站，DCS服务器为冗余配置，正常运行中，主服务器运行，备用服务器保持数据同步运行，主服务器发生故障后，自动切换至备用服务器。

二、投运以来设备运行情况：

二期机组自2009年投产至此次故障期间，两台机组的DCS服务器运行基本正常，未发生单台机组DCS服务器全部故障的情况。

但发生过多次备用服务器退备用和主服务器故障切换至备用服务器的情况。

三、DCS服务器故障现象及处理方案：

1、二单元DCS服务器全部死机的故障现象：

此次#4机组DCS服务器发生失电的故障现象如下：

1）DCS画面数据全部显示坏点，运行人员失去对机组所有画面的监视、控制。

2）工程师站检查服务器故障现象为：

服务器上层模块前面板电源指示灯亮（图一中的部件2），后部网线插口指示灯全灭（图二中的部件4）；手动停运服务器上层模块并断电，单独启动服务器下层模块，约30分钟后，画面恢复监视，操作正常，但历史数据无记录，运行约1小时后，服务器下层模块突然停运，画面数据全部坏点，启动服务器上层模块时无法启动，将下层模块的硬盘全部更换到上层模块后再次启动上层模块，约30分钟后上层模块启动，画面恢复监视，但是系统检测为CPUEnclosure1（对应为下层模块）在运行，CPUEnclosure0（对应上层模块）显示灰色。

DCS服务器仅剩上层模块（安装的是下层模块的硬盘）运行，无备用，且系统检测为CPU1（对应为下层模块）在运行，CPU0（对应上层模块）显示灰色，即运行中的上层模块状态也不正常，服务器系统不可靠，随时可能故障停运，DCS系统失去画面监视与控制。

图一：

图二：

故障原因：

下层模块内部的电源模块故障导致其停运，下层模块的硬盘良好；上层模块因其系统硬盘丢失文件导致模块故障停运。

2、DCS服务器全部故障的处理原则：

1）DCS服务器全部故障后，机组的所有监视画面和参数均无法监视且任何操作指令均无法执行，但DCS的各闭环控制系统及保护功能仍能正常工作。

因此，当机组运行在协调或AGC方式，主要自动（给水、减温水、引送风机调节、除氧器水位调节等）在正常投运状态下，机组发生DCS服务器全部故障时，机组能够短时间通过就地监视重要的参数来维持运行。

当机组在纯手动方式（如机组启动过程中）或主要自动退出运行状态下，发生DCS服务器全部故障时，应立即执行紧停规定，保证机组安全停运。

2）DCS服务器全部故障后，运行人员必须通过就地监视掌握机组主要参数的变化情况和设备的运行情况。

需要就地监视的主要参数有：

除氧器水位、排汽装置水位；需要就地重点监视的设备有：

各给煤机下煤情况，需要就地可能操作的设备：

锅炉本体减温水门。

同时需要仪电人员在电子间手动测量锅炉侧主汽、再热汽温（保护配置为四取二，拆除单一测点不会导致保护误动）

3）就地监视的运行人员要充足，各司其职，保持通讯畅通，汇报及时。

4）当机组主要参数无法控制或无法监视时，当值运行人员必须严格执行紧停规定。

5）在DCS服务器全部故障处理过程中，如果发生主要设备掉闸或主要参数达到保护定值，导致机组掉闸时，按机组停运处理，保证机组安全停运。

6）仪电人员响应必须及时、到位、值班人员熟悉且能够胜任DCS服务器故障处理及相关工作。

3、DCS服务器全部故障的处理步骤：

1）当值值长立即组织人员分工，就地监视故障机组主要的控制参数和设备运行情况，并立即通知仪电值班人员到现场配合故障处理。

汇报公司分管副总经理、发电部经理、设备管理部经理，通知仪电部经理增加应急处理人员。

就地主要设备的运行情况及参数情况由故障机组机长进行统一记录，就地监视人员具体安排分工如下：

给煤机间监视给煤机运行情况的人员2人；

锅炉本体监视减温水调门的人员2人；

除氧器水位就地监视人员1人；

排汽装置水位就地监视人员1人；

仪电人员准备配合减温水调门的操作人员2人、电子间测温度的人员2人。

（仪电人员在电子间需测量锅炉侧单侧主汽温度、再热汽温，每5分钟向机长汇报温度数值一次。

）

2）值长安排两名电气人员，一人至保安段，汽机交流润滑油泵开关处，做好手动启动油泵的准备；一人至6KV配电室，做好机组掉闸后设备无法停运时，就地停运6KV设备的准备。

3）机长应通过立盘严密监视机组负荷变化，同时每5分钟向辅控脱硫值班员询问并记录引风机静叶开度情况和增压风机入口负压情况。

4）给煤机就地人员必须严密监视各给煤机运行情况，当发生给煤机断煤后，及时投运振打装置，保证下煤正常。

5）DCS服务器故障期间，发生主要辅机设备掉闸或主汽、再热蒸汽温度升高达到保护值或其他主要监视参数达到保护定值时，应立即执行紧停规定，按破真空操作步骤停机：

机长在操作台上同时按下锅炉MFT和汽机跳闸按钮，派专人就地检查锅炉灭火、汽机掉闸，发电机解列。

汽机未打闸时，就地打闸。

至电子间检查厂用电切换是否成功。

保安配电室人员查看交流润滑油泵未联启时，就地启动。

汽机转速降至1200rpm，就地启动顶轴油泵。

6KV配电室人员检查所有磨煤机、一次风机掉闸，否则就地停运，并依次停运送、引风机，汽泵止速后，停运前置泵；电泵如联启，停运电泵运行；停运凝泵运行。

汽机副机长至就地手动开启真空破坏门，汽机破真空。

就地停运真空泵运行；就地检查汽机止速后，投盘车运行。

按机组破真空停运检点系统及设备运行方式。

DCS服务器恢复后，全面检查DCS画面和就地系统，具备恢复条件时，恢复机组启动。

6）仪电人员到位后，除安排就地配合运行人员的工作外，立即进行DCS服务器的故障检查、处理工作，具体步骤见“四、

（二）DCS服务器更换步骤”。

四、机组正常运行中，更换DCS服务器的处理方案及步骤：

（一）机组正常运行中更换DCS服务器前的处理方案：

1、为保证运行人员在DCS失去画面监视期间能够可靠监视机组重要的温度参数，仪电部必须在更换DCS服务器前将以下6个温度测点接至邻机运行正常的DCS系统：

1）炉A启动分离器温度测点1（40HAH11CT602，安装于40DCS15柜，AC007，AI02）；

2）炉B启动分离器温度测点1（40HAH12CT602，安装于40DCS15柜，AC007，AI03）。

3）左侧过热器出口温度测点1（40LBA11CT601，安装于40DCS17柜，AB008，AI00）；

4）右侧过热器出口温度测点1（40LBA11CT601，安装于40DCS17柜，AB008，AI01）；。

5）左侧再热器出口温度测点1（40LBB81CT601，安装于40DCS18柜，AC007，AI00）；

6）右侧再热器出口温度测点1（40LBB82CT601，安装于40DCS18柜，AC007，AI01）。

上述6个温度测点分别通过临时电缆逐个接至正常运行DCS系统机组备用通道，依次对应为：

30DCS15柜/AC008/AI01,30DCS15柜/AC008/AI04，30DCS15柜/AC008/AI07，30DCS15柜/AC007/AI01，30DCS16柜/AC008/AI07，30DCS16柜/AC009/AI07。

仪电部人员在正常运行DCS系统机组提前做好相关组态。

在电子间拆接上述温度测点之前，需做以下措施：

①逐个将每个测点所带超温保护退出；②必须将该测点所参与的取平均值的逻辑块改为第二点输出,即输出值为同一侧不拆的那个温度测点的数据，以避免拆接线过程中产生错误信号而造成给水、减温水自动摆动或者超温保护误发而触发MFT；③拆接线负责人与工程师站人员认真沟通，在确认已做好上述两点措施后，由专人监护，在核对所拆测点机柜号、模件位置及通道无误后再进行拆接线。

将全部6个测点接至正常运行DCS系统后，仪电部人员确认数据正确，再明确告知运行人员监视方法，同时在故障DCS系统工程师站及时恢复拆接线前所退出的温度保护。

拆接线工作完成后所有人员退出电子间并清点人数，禁止在更换服务器期间触动相关测点接线。

2、更换服务器前，仪电部人员应检查完善服务器上下层模块的电源线、网线、硬盘的标识，标识应清楚准确，无产生混淆的可能。

3、仪电部人员提前在服务器模块后接好显示器以便观察服务器启/停时的状态，并安装键盘、鼠标。

4、更换服务器前，发电部当值值长应联系调度将机组运行方式退出AGC方式，维持协调运行，机组运行人员维持机组负荷稳定，保证制粉系统运行方式稳定，停止锅炉吹灰。

将主汽、再热蒸汽温度逐步调整稳定，减温水调门及机组的其他自动投入自动方式。

发电部同时应准备充足的就地监视人员，当DCS服务器更换过程中，由于所有DCS画面不能监视，现场运行监视人员具体安排分工如下：

给煤机间监视给煤机运行情况的人员2人；

锅炉本体监视减温水调门的人员2人；

除氧器水位就地监视人员1人；

排汽装置水位就地监视人员1人；

在正常运行DCS系统机组监视故障DCS系统机组锅炉侧主汽温度、再热汽温度的人员1人。

仪电人员准备配合减温水调门的操作人员2人。

机组各方面参数和设备均趋于稳定，人员全部到位后，开始DCS服务器的更换工作。

（二）DCS服务器更换步骤：

（仪电人员进行）

1、核实清楚服务器故障的模块位置，确认故障模块电源线、网线标识清楚准确，然后拔出故障模块电源线后，再拔出故障模块网线；

2、拉出服务器故障模块，平稳放置，将其光驱、内存条移至新的服务器模块上；

3、将新服务器模块装到机架对应位置，将网线连接正确，将拆下的故障模块上的硬盘按对应位置装到新模块上；

4、插好新模块电源线，上电后新模块自动启动，大约有7分钟的自检时间（自检期间模块风扇声音较大，自检完成后会变小）；

5、在桌面上双击

打开FT4300管理工具，可以查看各个部件的详细情况，如图三，CPUEnclosure（上面模块是0号，下面模块是1号），I/OEnclosure（上面模块是10，下面模块是11），其它还有StorageEnclosure

图三：

可以观察到CPU0状态已可以监视，但是因硬盘与模块不对应，硬盘无法实现同步，须将硬盘恢复到最开始故障前的原安装位置（即将现在上层模块的硬盘恢复到下层模块中）；

6、先停运新装的服务器模块（在此次更换操作中为下层模块）、断电，联系就地人员做好监测准备后，逐台退出#1--#5操作员站及大屏服务器的T3000软件，然后停运服务器运行中的模块（在此次更换操作中为上层模块）并断电，将上层模块硬盘拆出后装至下层模块；

7、将新装的服务器模块（下层模块）上电，模块自动启动，约7分钟后自检完成，启动T3000软件，约20分钟后，13个相关进程全部启动，逐台恢复#1--#5操作员站与大屏；

8、检查网线连接正确后，将上层模块上电，自检完成后，在Windows磁盘管理器中发现硬盘仍无法同步（如图四，显示有无盘符的分区，显示有DISK0、DISK1、DISK2、DISK3；如果同步，则应只显示DISK0和DISK1），于是在磁盘管理中将DISK2和DISK3的分区全部删除（切勿误删运行中的磁盘分区）；

图四：

硬盘不同步时的状态，显示有无盘符的分区

图五：

将无盘符的分区删除后的状态

9、打开FT4300管理工具，在I/OEnclosure-10/StorageEnclosure–40中，分别点击Slot-1/DISK2和Slot-2/Disk-3，选择AddPhysicalDiskToRDRVirtualDisk，类似于图六

图六：

添加虚拟硬盘

操作成功后，I/OEnclosure-10/StorageEnclosure–40/Slot-1/DISK2的描述将变为I/OEnclosure-10/StorageEnclosure–40/Slot-1/DISK0，如下图七

图七：

添加虚拟硬盘成功后，Slot-1/DISK1变为Slot-1/DISK0

然后打开I/OEnclosures/LogicalDiskInformation/RDRVirtualDisk1，可观察到新加的虚拟硬盘正在同步，如下图八，

同步速度以10%的速率更新。

10、等待硬盘数据同步，系统盘约1.5小时后同步完成，扩容盘约8小时后同步完成，同步完成后虚拟硬盘的状态变为：

Duplex（如下图九），服务器恢复冗余运行状态。

图九：

同步完成后的硬盘状态

11、DCS服务器数据同步完成后，检查所有硬件运行正常，备用服务器可靠备用后，工作结束，运行人员正常使用DCS系统监视、操作机组运行。

（三）DCS服务器更换过程中的注意事项：

1、因更换故障模块期间，DCS系统将失去画面监视，因此需各岗位人员到位，做好各项准备工作后，再停运正常运行的服务器模块；

2、核实清楚服务器上下层模块运行状态，停运故障模块时需有人监护，防止误停正常运行的服务器模块；

3、核实清楚服务器上下层模块电源线，切断故障模块电源时需有人监护，防止误停正常运行的模块电源；

4、服务器模块硬盘配置正确后（有需要才进行配置）开始数据同步，同步时间不低于4小时，由于同步期间服务器负荷率高，画面、曲线更新变慢，数据同步期间，要求运行人员执行如下规定：

1）应避免大量的DCS操作命令，防止DCS服务器因负荷过高速度变慢直至再次死机；

2）关闭不必要监视的画面，尽量不进行参数曲线的查看；

3）期间除发生设备掉闸外，不进行设备启停操作；

4）定期对各分系统画面参数和设备运行情况进行检查。

如发现画面显示故障或死机情况时，及时汇报，通知仪电人员检查处理；

5）DCS服务器数据同步工作结束，服务器恢复正常运行后，全部恢复正常操作调整方式；

5、如在DCS服务器数据同步过程中发生服务器死机情况，或需要短时间停运主、备服务器时，DCS全部画面将失去监视，为保证机组、设备安全运行，在此期间，当班值长立即按照“三、3、DCS服务器全部故障的处理步骤”执行措施。

五、DCS服务器更换后的检查工作

DCS服务器数据同步完成后，检查所有硬件运行正常，备用服务器可靠备用后，临时接入正常运行机组的温度信号电缆拆除，工作结束，运行人员正常使用DCS系统监视、操作机组运行。