PTN典型故障解决.docx

1、PTN典型故障解决典型故障及处理方法一.1 带内DCN故障处理介绍带内DCN出现故障时的现象、对系统的影响、可能原因、排除该故障时需要的工具、注意事项以及处理步骤等。A、前提条件：查看工程文档，确认网元各个单板均使用配套版本。B、故障现象：处理带内DCN的故障时，通常会遇到以下故障现象。 网管与网元通信中断，网管上网元图标变灰色，网元脱管。 网管操作命令没有响应。若响应中断时间持续超过2分钟，网管与网元通信中断。 网管查询信息部分丢失。 C、故障处理流程图:带内DCN故障处理流程图如下图所示。图带内DCN故障处理流程图D、对系统的影响 网元和网管通信中断后，通过该网元来保持与网管通信的网元，若

2、无其它方法连接网管，也将处于脱管状态。其它网元则无影响。 若承载带内DCN的物理通道故障，则会影响该物理通道上承载的其它业务。 E、可能原因:对应故障处理流程图，带内DCN故障原因如下 全网内的网元ID、网元IP或者子网掩码存在冲突。 故障网元的带内DCN端口未使能，或对接端口参数配置不一致。 故障网元与网管之间的物理连接中断。 接收信号丢失或接收光功率过低，无法提取DCN报文。 单板故障。 DCN穿越的第三方网络不健康，引入DCN风暴或DCN中断。 带内DCN通道带宽配置过低。 故障网元主控板正在复位或发生了主备倒换，带内DCN报文得不到响应。 a) 处理带内DCN故障时 如果网元通信中断，

3、先处理网关网元的故障，再处理非网关网元的故障。 如果网元通信未中断，先处理非网关网元的故障，再处理网关网元的故障，避免造成非网关网元脱管。 b) 当网元脱管时，可以使用其它工具尝试登录故障网元 如果可以正常登录，说明设备的通信正常，问题可能由网管引入，联系负责网管维护的工程师处理。 如果不能登录，可以采用PC机直连设备的ETH端口。如果可以通信，说明是线路问题，否则是设备问题。 H、操作步骤 全网内的网元ID、网元IP或者子网掩码存在冲突 此原因一般由全网中新添加的网元引入。对照网元规划表，检查新网元的网元ID、网元IP、子网掩码的配置是否正确。 若配置错误，或与现有网元存在冲突，请正确配置新

4、网元的参数。 故障网元的带内DCN端口未使能，或对接端口参数配置不一致 检查是否存在光纤或电缆连接到默认使能DCN的端口。如果没有，换用默认使能DCN的端口。 检查链路两端的端口是否已使能DNC。如果没有，使能端口的带内DCN。 检查两端端口的参数配置是否一致，例如以太网端口的工作模式。如果不一致，修改参数配置使两端一致。 故障网元与网管之间的物理连接中断 检查故障网元的网线或光纤是否从端口中脱落。如果是，重新插上网线或光纤。 接收信号丢失或接收光功率过低，无法提取DCN报文 检查网元的历史告警中是否存在R_LOS、ETH_LOS或IN_PWR_ABN等告警。 单板故障 查询单板的历史告警中是

5、否存在HARD_BAD或TEMP_OVER告警。 若存在，更换上报告警的单板。 DCN穿越的第三方网络不健康，引入DCN风暴或DCN中断 若带内DCN通信穿越了第三方网络，需要检查第三方网络中是否存在端口环回、物理通道中断等故障。 如果存在，需要立即排除第三方网络中的故障。 带内DCN通道带宽配置过低 当端口配置的业务数量超过某一数目时，可能造成部分查询信息丢失，此时需要适当增大带内DCN通道的带宽配置。 故障网元主控板正在复位或发生了主备倒换，带内DCN报文得不到响应 观察主控板的PROG指示灯是否处于绿灯闪烁状态，若是，则主控板正处于复位状态。等PROG指示灯常亮绿色时，主控板完成复位，D

6、CN将自动恢复连接。 若主控板发生了主备倒换，“当前板”将自动软复位。 若DCN未恢复响应，检查其它单板是否发生保护倒换，造成带内DCN报文处于重路由状态。 若存在单板发生保护倒换，等待DCN完成重路由后，将自动恢复响应。 一.2 MPLS Tunnel故障处理介绍MPLS Tunnel创建失败或中断等故障时的现象、对系统的影响、可能原因，排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象:处理MPLS Tunnel的故障时，通常会遇到以下故障现象 MPLS Tunnel创建失败，业务不通。 MPLS Tunnel故障，业务中断。 保护倒换失败，业务中断或出现丢包、误码。 B. 对

7、系统的影响若MPLS Tunnel故障，则会影响网络中由该Tunnel承载的业务，但由其他Tunnel承载的业务正常。C. 可能原因:MPLS Tunnel故障原因如下 路由失败。 交叉创建失败。 Tunnel所在的物理链路故障。 保护倒换失败。 D. 操作步骤 路由失败 对照网络规划，检查Tunnel两端端口参数配置是否正确，例如端口IP。修正不正确的端口参数后，再次创建Tunnel。 检查Tunnel首末节点所在的网元间是否存在完整可达的链路。若不存在，修复链路中残缺或故障的部分。 可选：如果Tunnel配置了带宽，检查链路带宽是否满足Tunnel的要求。 交叉创建失败 检查网络中是否存在

8、不同的网元使用相同的网段。如果存在，需要修改端口IP地址。 检查Tunnel是否配置了不兼容的保护特性。 查看Tunnel所经过的网元或单板，确认已创建Tunnel个数是否已经达到了最大值。如果是，需要重新规划或删除冗余的Tunnel。 Tunnel所在的物理链路故障 查询系统中是否存在HARD_BAD、R_LOS、ETH_LOS、PPP_LCP_FAIL或MP_DOWN等告警，指示Tunnel使用的物理链路故障。若存在，优先处理这些告警。 查看并处理系统中存在的下列告警。 MPLS_TUNNEL_BDIMPLS_TUNNEL_ExcessMPLS_TUNNEL_FDIMPLS_TUNNEL_

9、LOCVMPLS_TUNNEL_MISMATCHMPLS_TUNNEL_MISMERGEMPLS_TUNNEL_SDMPLS_TUNNEL_SFMPLS_TUNNEL_UNKNOWN 检查对端设备是否存在单板故障或网元复位等异常状况。排除对端设备的异常情况。 一.3 PW故障处理介绍PW创建失败或中断等故障时的现象、对系统的影响、可能原因，排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象:处理PW故障时，通常会遇到以下故障现象 PW创建失败，业务不通。 PW故障，业务中断或出现丢包、误码。 B. 对系统的影响:若PW出现故障，则会影响承载在该PW上的业务，但其他PW承载的业务正常

10、C. 可能原因:PW故障原因如下 LDP会话创建失败，PW创建不成功。 物理链路故障，LDP会话失效。 PW交叉建立失败。 PW所在的Tunnel故障。 PW APS保护倒换失败。 D. 操作步骤 LDP会话创建失败，PW创建不成功。 检查PW两端网元是否配置了LDP对等体。若未配置，需要重新配置LDP对等体。 检查PW两端参数是否配置正确。举例如下： “控制字使用策略”，是否一端配置为“必须使用”，另一端配置为“不使用”。 对Ethernet业务，两端的“MTU”是否配置一致。 对CES业务，两端的“RTP头”、“报文装载时间”等参数是否配置一致。 物理链路故障，LDP会话失效 检查PW首末

11、节点间物理链路是否正常，系统中是否存在HARD_BAD、LASER_MOD_ERR、R_LOS或ETH_LOS等告警。 若存在，优先处理HARD_BAD、LASER_MOD_ERR、R_LOS或ETH_LOS告警。 查询并处理系统中存在的PW_DOWN、PW_DROPPKT_EXC或PW_EXC_TRAFFIC告警。 查看并处理系统中存在的下列告警。 MPLS_PW_BDIMPLS_PW_ExcessMPLS_PW_LOCVMPLS_PW_MISMATCHMPLS_PW_MISMERGEMPLS_PW_SDMPLS_PW_SFMPLS_PW_UNKNOWN- 检查对端设备是否存在单板故障或网元

12、复位等异常状况。排除对端设备的异常情况。 PW交叉建立失败:查看PW所经过的网元或单板，确认已创建PW个数是否已经达到了最大值。如果是，需要重新规划或删除冗余的PW PW所在的Tunnel故障:Tunnel故障 PW APS保护倒换失败:查看并处理系统中存在的下列告警 PWAPS_LOSTPWAPS_PATH_MISMATCHPWAPS_SWITCH_FAILPWAPS_TYPE_MISMATCH一.4 CES业务故障处理介绍CES业务出现中断或误码等故障时的现象、对系统的影响、可能原因，排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象:处理CES业务的故障时，通常会遇到以下故障

13、现象，如下表所示。消除设备上报的告警后，故障也随之排除表 CES业务常见故障现象一览表现象上报告警CES业务中断HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERRT_ALOS、UP_E1AIS或DN_E1AISR_LOS、LASER_MOD_ERR、LSR_WILL_DIE、IN_PWR_ABN、TEM_HA或LSR_BCM_ALMMPLS_TUNNEL_LOCVPW_DOWNCES业务出现误码，通信质量下降HARD_BAD、TEMP_OVER或BUS_ERRSYNC_C_LOS或LTILASER_MOD_ERR、LSR_WILL_DIE、IN_PWR_ABN、TEM

14、_HA或LSR_BCM_ALMCES_LOSPKT_EXC、CES_MISORDERPKT_EXC、CES_STRAYPKT_EXC、CES_JTRUDR_EXC或CES_JTROVR_EXCB. 故障处理流程图:CES业务故障处理流程图如下图所示。图CES业务故障处理流程图C. 对系统的影响:网络中CES业务中断或出现误码，通信会中断或质量下降。若故障由于SCA或XCS单板造成，则可能影响设备接入的其它业务。D. CES业务故障原因如下 单板硬件故障、温度过高或板间通信故障，无法正常工作。 处理板、接口板的接口接入的信号丢失或恶化。 承载CES业务的Tunnel或PW中断。 网元的同步时钟源

15、级别丢失，或同步时钟源丢失。 承载CES业务的PW在单位时间内丢包数、错包数或抖动缓冲超过阈值。 E. 注意事项:严禁眼睛靠近或直视光接口或光纤接头。光接口及光纤内部的激光束会伤害眼睛。F. 操作步骤 单板硬件故障、温度过高或板间通信故障，无法正常工作 查询系统当前告警，是否有HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERR告警，并确定上报告警的单板。 处理HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERR告警，排除故障。 处理板、接口板的接口接入的信号丢失或恶化 查询系统是否有T_ALOS、UP_E1AIS或DN_E1AIS告警。 查询系

16、统是否有R_LOS告警。 查询系统是否有LASER_MOD_ERR、LSR_WILL_DIE、IN_PWR_ABN、TEM_HA或LSR_BCM_ALM告警。 承载CES业务的Tunnel或PW中断 查询系统是否存在MPLS_TUNNEL_LOCV告警。 查询系统是否存在PW_DOWN告警。 网元的同步时钟源级别丢失，或同步时钟源丢失 查询系统是否有SYNC_C_LOS或LTI告警。 承载CES业务的PW在单位时间内丢包数、错包数或抖动缓冲超过阈值 查询系统是否有CES_LOSPKT_EXC、CES_MISORDERPKT_EXC或CES_STRAYPKT_EXC告警。 查询系统是否有CES_

17、JTRUDR_EXC或CES_JTROVR_EXC告警。 一.5 以太网业务故障处理介绍以太网业务出现中断或丢包故障时的现象、对系统的影响、可能原因，排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象:处理以太网业务的故障时，通常会遇到以下故障现象，如下表所示。消除设备上报的告警后，故障也随之排除。表 以太网业务常见故障现象一览表现象上报告警以太网业务中断HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERRETH_LOS、ETH_AUTO_LINK_DOWN或MAC_FCS_EXCR_LOSETH_LINK_DOWNLOOP_ALMETH_EFM_LOOPB

18、ACKLASER_SHUT或LSR_WILL_DIE以太网业务出现丢包或错包HARD_BAD、TEMP_OVER或BUS_ERRLSR_WILL_DIEMAC_FCS_EXC或FLOW_OVERETH_CFM_UNEXPERIB. 故障处理流程图以太网业务故障处理流程图如下图所示。图 以太网业务故障处理流程图 C. 对系统的影响:网络中以太网业务中断、出现丢包或错包，若故障由于SCA或XCS单板造成，则可能影响设备接入的其它业务。D. 以太网业务故障原因如下 单板硬件故障、温度过高或板间通信故障，无法正常工作。 接收信号丢失。 原因3：以太网网口连接错误，端口协商失败。 原因4：端口配置了环回

19、。 接口流量限值配置过低，源宿两端接口配置不一致。 E. 工具、仪表和材料:光功率计F. 注意事项:严禁眼睛靠近或直视光接口或光纤接头。光接口及光纤内部的激光束会伤害眼睛。G. 操作步骤 单板硬件故障、温度过高或板间通信故障，无法正常工作。 查询系统当前告警，是否有HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERR告警，并确定上报告警的单板。 接收信号丢失 查询系统是否有ETH_LOS或ETH_AUTO_LINK_DOWN告警。 查询系统是否有R_LOS告警。 查询系统是否有LASER_SHUT或LSR_WILL_DIE告警。 查询系统是否有MAC_FCS_EXC告警

20、。 以太网网口连接错误，端口协商失败 查询系统是否有ETH_LINK_DOWN告警。 端口配置了环回 查询系统是否有LOOP_ALM告警。 查询系统是否有ETH_EFM_LOOPBACK告警。 接口流量限值配置过低，源宿两端接口配置不一致 查询系统是否有FLOW_OVER告警。 查询系统是否有ETH_CFM_UNEXPERI告警。 一.6 时钟故障处理介绍时钟源丢失、时钟信号劣化等故障时的现象、对系统的影响、可能原因，排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象处理时钟故障时，通常会遇到以下故障现象，如下表所示。消除设备上报的告警后，故障也随之排除。表 时钟常见故障现象一览表

21、现象上报告警业务出现误码SYNC_C_LOS、LTI、S1_SYN_CHANGE、SYN_BAD、EXT_SYNC_LOS、CLK_NO_TRACE_MODE或EXT_TIME_LOCB. 对系统的影响网络中时钟源丢失或时钟源质量下降时，会影响跟踪该时钟源的业务的质量，产生指针调整和误码率增高。C. 造成时钟故障的原因如下 优先级表中业务板上的同步时钟源级别丢失。 同步时钟源丢失，网元的时钟处于不正常状态。 在SSM模式下时钟源发生倒换，网元跟踪的时钟源也发生了倒换。 同步时钟源的信号劣化。 外部时钟源丢失。 时钟进入非跟踪工作模式。 外部时间源丢失。 D. 注意事项:如果没有工作正常的备交叉

22、板进行保护，硬复位交叉时钟板可能会引起业务完全中断。E. 操作步骤 优先级表中业务板上的同步时钟源级别丢失 查询系统是否有SYNC_C_LOS告警。 同步时钟源丢失，网元的时钟处于不正常状态 查询系统是否有LTI告警。 在SSM模式下时钟源发生倒换，网元跟踪的时钟源也发生了倒换 查询系统是否有S1_SYN_CHANGE告警。 同步时钟源的信号劣化 查询系统是否有SYN_BAD告警。 外部时钟源丢失 查询系统是否有EXT_SYNC_LOS告警。 时钟进入非跟踪工作模式 查询系统是否有CLK_NO_TRACE_MODE告警。 外部时间源丢失 查询系统是否有EXT_TIME_LOC告警。一.7 Qo

23、S故障处理介绍QoS出现故障时的现象、对系统的影响、可能原因、排除该故障时需要的工具、注意事项以及处理步骤等。A. 前提条件:配置了QoS策略的业务连接正常。B. 故障现象 业务已经配置了带宽，但实际业务流量超出限制，造成业务流量偏高，导致拥塞。 不同业务之间互相抢占带宽，被抢占带宽的业务丢包或误码。 业务优先级较低，但抢占了优先级较高的业务的带宽，造成高优先级的业务丢包或误码。 业务处理单板上报BUS_ERR告警，单板的业务处理能力受限。 QoS故障时，系统一般会上报以下告警，如下表所示。清除设备上报的告警，故障也随之排除。表 QoS常见故障现象一览表现象上报告警单板业务处理能力受限BUS_

24、ERR业务流量偏高，出现拥塞FLOW_OVERPW_EXC_TRAFFIC业务带宽被抢占，出现丢包或误码PW_DROPPKT_EXCCES_LOSPKT_EXCCES_JTROVR_EXCCES_JTRUDR_EXCC. 故障处理流程图QoS故障处理流程图如下图所示。图 QoS故障处理流程图D. 对系统的影响 若单板的业务处理能力受限，部分业务可能得不到处理，会出现丢包或误码。 业务流量偏高时，端口可能拥塞，若其它业务带宽被抢占，可能会丢包或误码。 E. QoS故障原因如下 业务处理单板存在BUS_ERR告警，单板业务处理能力受限。 网元未配置QoS策略。 配置业务时选择了错误的QoS策略。

25、Tunnel或PW的配置带宽过低。 单板故障，配置数据未下达到单板。 F. 操作步骤 业务处理单板存在BUS_ERR告警，单板业务处理能力受限 检查系统是否存在BUS_ERR告警。 网元未配置QoS策略 检查网元是否配置了相关QoS策略，包括WRED策略，WFQ调度策略，端口策略，V-UNI Ingress策略，V-UNI Egress策略，PW策略，QinQ策略或ATM策略等。 若没有，重新配置遗漏的QoS策略。 配置业务时选择了错误的QoS策略 检查业务当前配置的QoS策略是否适用。若不适用，重新配置新的策略。 Tunnel或PW的配置带宽过低 检查Tunnel或PW当前配置带宽是否满足业

26、务流量需求。若带宽配置过低，需要重新配置带宽。 单板故障，配置数据未下达到单板 检查系统是否存在HARD_BAD等硬件类告警。 检查系统是否存在LSR_WILL_DIE等激光器相关告警。 一.8 LAG故障处理介绍LAG出现故障时的现象、对系统的影响、可能原因、排除该故障时需要的工具、注意事项以及处理步骤等。A. 故障现象处理LAG故障时，通常会遇到以下故障现象，如下表所示。清除设备上报的告警，故障也随之排除。表LAG常见故障现象一览表现象上报告警聚合组失效，所有成员端口不可用，业务中断LAG_DOWN聚合组成员端口不可用，业务丢包LAG_MEMBER_DOWNLOOP_ALMETH_EFM_

27、LOOPBACKETH_LOSETH_LINK_DOWNB. 故障处理流程图LAG故障处理流程图如下图所示。图 LAG故障处理流程图C. 对系统的影响 若聚合组失效，则承载的业务中断，但不影响其它通道承载的业务。 若聚合组成员失效，则负载分担模式下有可能因为带宽不够导致持续丢包。如果是非负载分担模式则会引发链路倒换，短暂丢包。 D. LAG故障原因如下 聚合组两端网元配置错误。 聚合组成员端口工作模式设置为半双工。 聚合组成员端口配置了环回。 聚合组成员端口连接故障或丢失。 E. 操作步骤 聚合组两端网元配置错误 是否存在LAG_DOWN或LAG_MEMBER_DOWN告警。 检查聚合组两端网

28、元配置是否不一致，若不一致，修改两端网元配置一致后，查看告警是否清除。 聚合组成员端口工作模式设置为半双工 检查聚合组各成员端口的工作模式是否设置为半双工，若存在，修改端口工作模式为全双工。 聚合组成员端口配置了环回 检查聚合组各成员端口是否存在LOOP_ALM告警。若存在，重新设置端口的环回状态，清除LOOP_ALM告警。 检查聚合组各成员端口是否存在ETH_EFM_LOOPBACK告警。若存在，禁止远端环回，清除ETH_EFM_LOOPBACK告警。 聚合组成员端口连接故障或丢失 检查聚合组各成员端口是否存在ETH_LOS或ETH_LINK_DOWN告警。 若存在，清除ETH_LOS或ETH_LINK_DOWN告警。