电信北电PASSPORT应急预案与基础管理PASSPORT应急预案.docx

1、电信北电PASSPORT应急预案与基础管理PASSPORT应急预案北电PASSPORT设备应急预案 我省北电ATM网由25台PASSPORT 7K/15K设备组成，全网在用电路约1700余条，省级大客户100余户，是我省主用的ATM网。全网拓扑如下： 为保证北电PASSPORT设备大客户电路正常通信，且在故障发生时能够迅速进行业务抢通，故障定位，特制定如下应急预案：南昌一、南昌JXNC15K01、JXNC07K01设备板卡情况JXNC15K0101234567CPCP4pOC3MmAtm4pOC3SmIrAtm16pOC3SmIrAtm16pOC3SmIrAtm1pOC12SmLrAtmNON

2、E89101112131415NONENONE4pOC3SmIrAtm4pOC3SmIrAtmNONENONENONENONEJXNC07K0101234567CP2pOC3MmAtm2NONE32pE1Msa32pE1MsaNONE89101112131415NONENONENONE2pEth100BaseT2pEth100BaseT2pEth100BaseT6pEth10BaseTCP二、处理流程图三、南昌JXNC15K01、JXNC07K01设备故障场景设计1、 JXNC15K01 机框故障场景当机框出现时钟系统或交换矩阵不同步状态告警信息时，需对相关部件进行检查判断。A. 时钟（NS）

3、不同步情况（1） 检查NS 的状态 d nsNSadminState = unlockedoperationalState = disabledusageState = idleclockSyncState = freeRunactiveReference =standbyReference =（2） 检查NS 的配置 d -p nsNSprimaryReference = Lp/1 Sdh/0secondaryReference =tertiaryReference =useableReferences = notDegradedssmProtocol = disabled请注意上面结果的黑

4、体部分“useableReferences = notDegraded”。这个参数意味着链路由于某种原因发生降质并表现为degraded 状态时，NS 将不在把该链路登记为一个可用的时钟参考源。因此，NS 就会把这种状态宣布为一个不可用状态，如上所示。对于上述的情况，可以在配置时钟参考源的时候，更改useableReferences = enabled。如出现clockSyncState = synchronizing 信息，则按照如下步骤进行排查。 d p sw os pcsShowCards d sh ca/* ins, productcode d lp/x /* clocking d n

5、s d p ns确认时钟线路没有发生环路对CP进行切换，指令switchover lp/0，并确定其状态 （此步骤将中断业务，慎用）clockSyncState=Synchronized 恢复，则说明是CP晶震故障clockSyncState=synchoronizing 未恢复，拨打北电技术服务支持热线800-810-5000B 交换矩阵（Fabric）不同步情况交换矩阵由于运行中板卡或是服务链路的某些原因，会引起其工作不正常，导致其中一条不可用。（以fabric/x为例） lock sh fabric/x start sh fabric/x test 等到至测试完毕 unlock sh f

6、abric/x如果总线在测试过程中非正常退出，需要更换新的交换矩阵或是机框，来解决此问题。C. 机框不可用情况当PASSPORT 15K单节点机框发生故障时，为保障下挂的7K节点用户能正常通信，可以采用7K节点临时上联其他邻近地市的15K节点方法解决。但这需要预先调配好5*6对155M和做好网络规划、数据备份等工作。示意图如下：参数配置参见北电附录：2、JXNC15K01 CP卡故障场景当CP卡出现红色告警显示灯，则说明CP卡出现硬件故障，但由于有备用CP卡，不影响节点正常通信，只需紧急更换损坏的CP卡即可。如果是文件系统不同步，则按下面操作步骤处理：文件系统（FS）不同步 文件系统正常情况d

7、 fsFsadminState = unlockedoperationalState = enabledusageState = activevolumeName = JXNC15K01activeDisk = Fs Disk/0syncStatus = SynchronizedsyncProgress = 100 %capacity = 4294770688 bytesfreeSpace = 2339176448 bytesusage = 45 %如果是新插入的CP 板卡，或是CP 板卡都正常，并且磁盘都可用，但是同步状态为不同步，可以使用同步命令进行同步操作： synchronize Fs

8、 d fsFsadminState = unlockedoperationalState = enabledusageState = activevolumeName = JXNC15K01activeDisk = Fs Disk/0syncStatus = SynchronizingsyncProgress = 1 % 直至同步到100，syncStatus 值为Synchronizedcapacity = 4294770688 bytesfreeSpace = 2339176448 bytesusage = 45 %如果出现不同步的情况，首先要对不能正常工作的CP 进行处理：对存在问题的C

9、P 板卡进行重新启动，如0 槽的CP 板卡进行重新启动 reset sh card/0 （该步骤需技术支持确认同意方可实施）接下来，锁定0 槽CP 的磁盘，并检查测试状态 lock fs disk/0 disp fs disk/0 testFs Disk/0 TestadminState = lockedoperationalState = disabledusageState = idletestCount = 1duration = 60 minutestype = filesystemCheckcauseOfTermination = neverStartednatureOfError

10、= noErrorDetectedseverity = noErrorelapsedTime = 0 minutestestExecutionCount = 0ok 2005-01-04 15:56:29.43设置测试属性，开始测试 set fs disk/0 test type diskRead start fs disk/0 test unlock fs disk/0如果无法恢复正常，由此得出结论，CP 板卡的磁盘损坏，需要及时更换磁盘。3、JXNC15K01 4pOC3Mm卡故障场景4POC3（多模）卡用于PASSPORT 15K与7K的155M互联中继，与PASSPORT 7K上的2P

11、OC3（多模）卡配套使用，设备编号位NTHR17DA。当该卡发生硬件损坏时，可以通过两种方式进行抢通。第一种方式，利用单多模转换器将PASSPORT 7K的2POC3（多模）卡通过单多模转换后与4POC3（单模）卡进行互联，在网管上进行数据更改。具体方式如下图所示：事先准备: A.平常准备好稳定的应急交流电源，可以方便地引到机架旁边，最好是从UPS或逆变器提供。B.平常单多模转换器上的两端光纤做好联接。C.从一个有空余端口的4P OC3上预设一个端口、做好数据配置和标记。操作步骤: A. 按右图示意，联上单多模转换器，激活4P OC3端口参数，确认客户业务恢复；B. 同时从备件中心调4P Mm

12、 OC3备件。C. 备件送达后，在与用户沟通确定时间后，将连接切换到新的4P Mm OC3上，确认客户业务恢复；D. 坏件送修并跟踪。E. 向客户和上级部门提交故障情况报告。 第二种方式，利用传输设备进行故障抢通，具体方式如下所示：操作步骤: A. 按上图示意，利用传输上多模转电口转换器经DX10G传输转成155M单模连接至PP 15K B. 同时从备件中心调4P Mm OC3备件。 C. 备件送达后，在与用户沟通确定时间后，将连接切换到新的4P Mm OC3上，确认客户业务恢复； D. 坏件送修并跟踪。 E. 向客户和上级部门提交故障情况报告。4、 JXNC15K01 4pOC3Sm卡故障场

13、景 4POC3（单模）卡主要用于155M中继互联和155M用户接入，设备编号为NTHR21DA。板卡出现告警信息时，判断故障点。如传输中继没有问题，可先在网管上对板卡进行测试，或用尾纤对该板的各个端口进行自环测试。若自环仍有告警，则在厂家的远程指导下热插拔该板再次测试，测试仍有问题可先更换槽位测试，否则更换相应备用板先恢复通信。在备用板卡暂不到位情况下，可以将该板卡上电路割接至其他4POC3（单模）卡或16POC3板卡上，也可以利用单多模转换器割接至4POC3（多模）卡。中继故障处理与4pOC3Mm卡故障场景相同。1）确认端口故障，还是板卡故障；2）将故障板卡锁定，lock shelf car

14、d/4，将4pOC3 板卡从槽道中拔出。3）检查板卡物理状态，板卡进风口是否被大面积堵塞了。4）清除后，再次插入原端口，观察。5）如果问题依旧存在，将4pOC3 板卡从槽道中拔出。6）选择一个新槽位，再将板卡插入到新槽位上，观察。7）如果问题依旧存在，需要检查交换机运行温度。可以通过检查交换矩阵运行温度来检查交换机温度。命令为：disp sh fa/* oper8）如果温度大于3235时，需要首先降低交换机运行温度。按照相应清除步骤对交换机进行除尘降温。9）如果问题依旧存在，需要更换板卡。10）坏件送修并跟踪。11）向客户和上级部门提交故障情况报告。5、 JXNC15K01 16pOC3Sm卡

15、故障场景16POC3卡主要用于155M中继互联和155M用户接入，设备编号为NTHW21AA。该板卡出现异常时，可通过与4POC3（单模）卡相同的故障判断顺序进行故障定位。在备用板卡暂不到位情况下，可以将该板卡上电路割接至其他4POC3（单模）卡或利用单多模转换器割接至4POC3（多模）卡。中继故障处理与4pOC3Mm卡故障场景相同。1）确认端口故障，还是板卡故障；2）将故障板卡锁定，lock shelf card/5，将16pOC3 板卡从槽道中拔出。3）检查板卡物理状态，板卡进风口是否被大面积堵塞了。4）清除后，再次插入原端口，观察。5）如果问题依旧存在，将16pOC3 板卡从槽道中拔出。

16、6）选择一个新槽位，再将板卡插入到新槽位上，观察。7）如果问题依旧存在，需要检查交换机运行温度。可以通过检查交换矩阵运行温度来检查交换机温度。命令为：display shelf fabric/* oper8）如果温度大于3235时，需要首先降低交换机运行温度。按照相应清除步骤对交换机进行除尘降温。9）如果问题依旧存在，需要更换板卡。10）坏件送修并跟踪。11）向客户和上级部门提交故障情况报告。6、 JXNC15K01 电源模块故障场景 北电PASSPORT设备电源模块采用2+1冗余备份保护模式供电。在正常情况下2块电源模块供电保证机框的正常运行，当其中一块电源模块出现故障时，备份的电源模块会自

17、动切换。当2块电源模块出现故障时，机框内部分板卡得不到正常供电，停止运行。操作步骤: A.查看电源模块指示灯状态。亮绿色表示正常，亮黄色表示有告警，亮红色表示有故障。B.更换故障电源模块，确认网管上无告警信息。C.坏件送修并跟踪。D.向客户和上级部门提交故障情况报告。7、 JXNC07K01 机框故障场景A. 总线（Bus）不同步情况查看总线Bus情况 disp sh bus/* jxnc07k01 d sh bus/*=|= #| JXNC07K01 JXNC07K01 | Shelf Bus/x Shelf Bus/y =|=(A)=(B)= 1|adminState unlocked u

18、nlocked 2|operationalState enabled enabled 3|usageState active active 如Bus总线异常，可按以下操作步骤进行处理 lock sh bus/x start sh bus/x test 等到至测试完毕 unlock sh bus/x如果总线在测试过程中非正常退出，需要对节点进行进一步处理。准备该节点所需要的备用板卡。并报北电技术支撑要求进行支撑。A机框不可用情况当PASSPORT 7K单节点机框发生故障时，为保障下挂用户能快速恢复通信，可以通过传输线路将用户接入至附近7K节点设备上。示意图如下：参数配置参见北电附录：8、 JXN

19、C07K01 CP卡故障场景当CP卡出现红色告警显示灯，则说明CP卡出现硬件故障，但由于有备用CP卡，不影响节点正常通信，只需紧急更换损坏的CP卡即可。如果是文件系统不同步，同JXNC15K01方式处理。8、 JXNC07K01 2POC3Mm卡故障场景2POC3(多模)卡主要用于PASSPORT 7K设备上2M电路汇聚，与PASSPORT 15K设备互联，设备编号为NTNQ65AA。由于PASSPORT 7K设备上仅此一块互联板卡，当板卡出现损坏时，将造成PASSPORT 7K设备与15K设备的通信，发生全阻故障。因此，该板卡发生故障时，只能等待备件的更换。9、 JXNC07K01 32P

20、MSA E1卡故障场景MSA卡是一种32端口的E1接入板卡，设备编号为NTNQ69BA。它一般用于大客户分支网点的接入，接入带宽最高为2M。当该板卡出现端口故障时，可以将物理接入线路移到另外一个物理端口，并通过网管进行数据变更即可恢复。当判断整块物理板卡损坏时，可以通过更换物理备件恢复。如备件板卡暂不到位，可以将损坏板卡的电路割接至其他MSA卡空余端口。如没有其他MSA卡端口冗余，则只能通过其他网络方式（如36170网、SDH数字电路、迈普设备等）进行抢通。10、JXNC07K01 电源模块故障场景JXNC07K01设备出现电源模块故障，可参考JXNC15K01 电源模块故障场景处理。两者工作

21、机制一样。A.查看电源模块指示灯状态。亮绿色表示正常，亮黄色表示有告警，亮红色表示有故障。B.更换故障电源模块，确认网管上无告警信息。C.坏件送修并跟踪。D.向客户和上级部门提交故障情况报告。11、 中继故障场景通常ATM 中继（Trunk）是ATM 接口下一条VC 电路。在Nortel MSS ATM 网络内，ATM 接口设定为PNNI。而与其它网络连接时，ATM 接口设定为IISP。其中VCI 和VPI 的值时可以随意设定，只要是在允许范围之内。中继（Trunk）构造和关联的示意图，如下：A.ATM 中继（Trunk）状态是正常，有流量，但是用户电路无法迂回至此条中继上。1、首先检查ATM

22、 中继（Trunk）的Atmif 下是否有PNNI 设置，并且在运行状态下正常。检查命令如下： d atmif/203 pnni rccAtmIf/23 Pnni RccadminState = unlockedoperationalState = enabledusageState = activetype = lowestLevelHorizLinknegotiatedVersion = version1point0helloState = twoWayInsideremoteNodeId = 28A0458*remoteNodeName = SHSHPP7K02remotePortId

23、= 655361remoteInterfaceName = Atmif/10helloPacketsRx = 24339helloPacketsTx = 24368mismatchedHelloPacketsRx = 1badHelloPacketsRx = 0 d atmif/23 pnni sigAtmIf/23 Pnni SigadminState = unlockedoperationalState = enabledusageState = activelastTxCauseCode = 0lastTxDiagCode = 00lastRxCauseCode = 0lastRxDia

24、gCode = 00currentConnections = 0peakConnections = 0successfulConnections = 0failedConnections = 0txPdus = 0rxPdus = 0currentPmpConnections = 0peakPmpConnections = 0successfulPmpConnections = 0failedPmpConnections = 02、如果没有PNNI 部件，添加该部件，并激活。命令如下：PROV add AtmIf/xx PnniPROV check prPROV act prPROV save

25、 f（name）prPROV conf prPROV commit prPROV end pr3、如果有PNNI 部件，但是所显示状态不正常，需要再查看Atmif 下VC 状态： l atmif/200 vcc/*AtmIf/200 Vcc/0.184、以上结果说明端口上ATM PNNI 路由配置正常并加载成功，且产生了VCC/0.18 路由控制信道Rcc（RoutingControlChannel）电路，但是没有产生VCC/0.5 信令Sig（Signalling）电路。原因是与对端相连接的ATM 端口没有配置加载PNNI 路由部件。5、登录到相应的远端交换机上，添加PNNI 部件并激活，问

26、题可以解决。B. 正在使用的ATM 中继（Trunk）中断，且不可用。1、检查trunk 状态，查看trunk 状态是否正常；2、检查atmif 状态，查看atmif 状态是否正常；3、检查板卡状态，查看板卡状态是否正常；4、检查端口状态，查看端口状态是否正常；5、对端口进行测试（以OC3 为例）： lock lp/x sdh/y start lp/x sdh/y test disp lp/x sdh/y test d lp/2 sdh/0 test Lp/2 Sdh/0 TestadminState = unlockedoperationalState = enabledusageState

27、 = idlepurpose = ?type = manualfrmSize = 1024 bytesfrmPatternType = ccitt32kBitPatterncustomizedPattern = 55555555 HexdataStartDelay = 0 secondsdisplayInterval = 5 minutesduration = 1.00 minuteselapsedTime = 1.00 minutestimeRemaining = 0.00 minutescauseOfTermination = testTimeExpiredbitsTx = 4266147

28、84bytesTx = 53326848frmTx = 52077bitsRx = 426614784bytesRx = 53326848frmRx = 520776、如果bitsTx 和bitsRx 的值一致，说明网络有物理环路。检查出环路位置，并拆除此环路。7、如果bitsTx 和bitsRx 的值不一致，可以在端口上做环路，确保光功率为接收范围为：-8db-28db，1310。再做测试。bitsTx 和bitsRx 的值必须一致。否则端口存在问题。8、检查端口下vc4 或pa 部件状态，检场是否正常。 disp lp/x sdh/y vc4/0 或 pa/09、在atmif 下添加测试的

29、vcc 电路进行测试，如下：PROV add atmif/x vcc/y.yyy test start atmif/x vcc/y.yyy test10、更换本节点中继光端口，例如：从3 槽0 口移动至4 槽1 口上：PROV disp atmif/30 interfacenameatmif/30 interfacename = lp/3 sdh/0 vc4/0PROV set atmif/30 interfacename lp/4 sdh/1 vc4/011、登录到远端交换机上，对于相应的中继端口，依据上面19 的步骤顺序依次检查；12、更换到新的中继端口；13、再对有问题的端口和板卡做进一

30、步排查和处理。C. 传输系统故障请传输部门进行故障查找，对重要电路进行路由迂回。路由迂回指令如下：12、 ATM电路故障场景ATM 业务由于涉及比较多的业务层面，因此在进行故障排除时相对其他业务的难度较大。我们在这里推荐根据ATM 业务层面来对ATM 业务进行逐层次的排查，更多细节请参考NPT：ATM Monitoring and Troubleshooting、 物理层的故障排除物理层的业务排除是指对承载ATM业务的各种业务板卡或者端口，比如：STM-1、STM-4、2M，进行故障排除。要保障ATM业务层面上能够正常运行，我们必须首先确认物理层面的各种状态运行正常。􀁺 确认物理层运行正常这里