交换机运行维护与故障排查.docx

1、交换机运行维护与故障排查交换机运行维护与故障排查RG-S5760 系列交换机运行维护与故障排查 前言 本文针对 RG-S5760 系列交换机产品， 介绍如何进行运行维护、 自检、 产品故障的定位与排除，供客支工程师在实际工作中参考。 内容简介 编号 章节名 内容简介 1 运行维护及自检 介绍产品日常维护与自检的方法、输出信息解释、 产品出现紧急故障时所采用的恢复方法。 2 基本功能维护 针对基本故障，介绍故障的处理逻辑、方法以及案例。 3 硬件转发功能维护 这部分主要是对交换机的硬件转发原理， 以及部分底层命令信息收集的指导， 以及在判断软件问题时常需要收集的信息。 4 协议功能维护 针对功能

2、模块故障，介绍故障的处理逻辑、方法以及案例。 阅读 在阅读本文档之前，希望您能够基本了解该产品所涉及的技术原理。参考文档如下： RG-S5760 系列交换机用户手册 锐捷交换机软件版本升级操作指导 1 运行维护及自检 1.1 产品状态自检 1.1.1 产品自 检一览表 硬件诊断项目及命令 诊断项目及命令 说明 设备指示灯 观察所有的系统运行灯及模块灯的运行状况， status 状态灯常亮，插入模块的模块指示灯常亮， 具体信息请参考安全智能万兆多层交换机交换机 RG-S5760 硬件说明书 V 1.0.pdf 。Show device 查看模块运行状况， 由于 S5760 不支持扩展模块， 从设

3、备列表中是否正常连接其他设备。 风扇电源状态 由于 S5760 暂不提供 show 命令，通过指示灯以及外观检查 系统状态诊断项目及命令 诊断项目及命令 说明 show cpu 查看 CPU 利用率， RGOS10.x 以后提供对功能模块的 CPU 占用信息的详细描述。Show cpu-protect 【】 查看设备 CPP 保护的阀值以及协议报文送 CPU 的队列优先级， 对于硬件的丢弃送 CPU 的报文速率暂时无法显示。 Show memory 内存利用率， RGOS 10.X 平台提供对功能模块的 Memory 暂用信息详细描述， Memory 占用见各功能模块介绍部分。Show log

4、ging 查看日志信息， 正常情况下无严重出错日志记录， 查看有无端口 频繁震荡等情况。 Show mac-address-table 查看交换机 MAC 地址表， 观察交换机学习 MAC 地址的情况， 默认情况下 MAC 的老化时间为 300s 。Show arp 查看交换机的 ARP 地址表， 观察交换机学习 ARP 地址的情况， 重点关注 ARP 地址的老化时间。 Show clock 查看系统的日期和时间信息。如果发现系统时间有误，可及时调整。 Show running 显示交换机当前生效的配置参数。 当用户完成一组配置之后， 如果需要验证配置是否正确，则可以执行 show runni

5、ng 命令查看当前生效的参数。对于某些正在生效的配置参数， 如果与缺省工作参数相同，则不显示。对于某些参数，虽然用户已经配置，但如果这些参数对应的功能没有生效，则不显示。Show version 显示系统的版本信息。 用户可以通过该命令查看软件的版本信息、 发布时间、 交换机的基本硬件配置、设备运行时间等信息。 接口状态诊断项目及命令 断项目及命令 说明 show interface 1 、 以太网端口是否协商出了半双工？端口默认为自 协商，如果此时协商出的结果为半双工，很可能两端配置不一致， 是否存在一端强制一端协商的情况，将两端配置成一致。 如果厂商兼容问题需深入排查解决。 2 、端口是否

6、有大量的错误报文，包括收和发，是否迅速增加 检查线路，中间连接的光电转换器；检查两端配置是否一致？ 3 、光电复用接口是否 up 4 、端口流量信息，观察是否有广播报文环路等状况。 Show vlan 互联 Trunk 端口的两端设备允许通过的 VLAN 配置为一致， 并且两端 PVID 配置为一致。Show spanning-tree interface xxx 确认和 PC 连接的端口设置为 Edge Port 或者 BPDUfilter （ BPDUguard ）开启。和非交换机设备连接的链路开启 BPDUfilter （ BPDUguard ）。 Show interface stat

7、us 互联 Trunk 端口的两端设备允许通过的 VLAN 配置为一致， 并且两端 PVID 配置为一致。 协议状态诊断项目及命令 协议状态诊断项目及命令 说明 show ip protocols 显示设备目前正在运行的路由协议进程及具体参数。Show vrrp 握手时间是否设置成 3 秒？两端的 vrrp 握手时间是否一致？两端 master 或 slave 状态是否正确？是否出现都是两边 master 的状态？是否和思科的 PVST+ 互通？ 对于兼容性问题请参考 MSTP+VRRP 维护白皮书Show ip router 确认路由表数量，路由表是否有频繁震荡的情况，缺省路由是否正常 Sh

8、ow ip ospf neighbor 查看设备 OSPF 邻居建立状态，进一步的信息可以在功能维护部分详细排查 。 1.1.2 设备启动自检信息 设备启动过程 log 信息： 设备的启动。 Ruijie#reload Processed with reload? noy*Oct 2 System bootstrap . Nor Flash ID: 0x00010049, SIZE: 2097152Byte Press Ctrl+B to enter Boot Menu . Load Ctrl Program ./ BOOT 只在交换机产品中存在，类似于 PC 机中的 BIOS ，位于产品的

9、ROM芯片中，用于系统引导功能，系统上电后 CPU 的第一条指令就会跳转到这里执行，此后完成系统硬件初始化，然后引导 CTRL 运行。 Executing program, launch at: 0x01000000 Ctrl Version: RGOS 10.3(4), Release(43933) 1 NAND chips(chip size : 33554432) detected Press Ctrl+C to enter Ctrl Menu . Main Program File Name rgos.bin, Load Main Program ./ CTRL 只在交换机产品中存在，

10、由 BOOT 程序引导运行，主要加载交换机中的交换芯片驱动包，支撑产品的 TFTP 功能方便主程序的下载升级 ( 在 S86 等机箱式产品中还用于主控板和线卡间的同步功能 ) ，然后加载系统 MAIN 程序运行的功能。也位于产品的 ROM 芯片中。 Executing program, launch at: 0x00010000 Ruijie General Operating System Software Release Software (tm), RGOS 10.3(4), Release(43933), Compiled Thu Aug 28 21:09:23 CST 2008 by

11、 ngcf49Copyright (c) 1998-2008 by Ruijie Networks. All Rights Reserved. Decompiling or Reverse Engineering is Not Allowed.*Oct 25 16:51:13: %7: 1 NAND chips(chip size : 33554432) detected/ 设备主程序加载完毕后，会检测设备是否配置堆叠，堆叠选举功能会占用较长时间，启动时间还和堆叠成员数相关，如果而没有堆叠建议将堆叠配置删除。 Stack System is electing. *Oct A25 16:S5S3

12、:09: %DEVICE-5-ECHANGED: DERVICE S5760 (1) is UP. / 堆叠选举完成， 配置加载成功后， 主设备显示启动完毕， 进入运行模式。 堆叠的备份设备进入 CTRL 模式，无法配置 *Oct 25 16:53:24: %SYS-5-WARMSTART: System warmstart.Ruijie Ruijie 如果设备在软件启动过程中遇到软件崩溃，需要捕获详细的 debug 信息，可以在 ctrl 模式下打开 ctrl 层的 debug 调试开关。 Executing program, launch at: 0x01000000 Ctrl Versi

13、on: RGOS 10.3(4), Release(43933) 1 NAND chips(chip size : 33554432) detected Press Ctrl+C to enter Ctrl Menu= Ctrl Menu(Ctrl+Z to upper level) = *TOP menu items. *0. Tftp utilities. 1. XModem utilities. 2. Run Main. 3. Run an Executable file. 4. File management utilities. 5. Scattered utilities. * P

14、ress a key to run the command:/ 输入 CTRL+Q ，进入命令行配置模式。 Hot Commands: - Ctrlhelp Total commands: debug Open or Close the tftp debug switch. setmain Set Main file name. version Show current version information. reload Reload tools. setbaud Set CTRL Baudrate tools.format Format flash filesystem. rename

15、Rename or Move a file. rm Remove a file. ls List information about the files. load Load main or a binary file from filesystem. xmup Upload file / FlashROM through XModem. xmdown Download programs through XModem. help Dump command list OR show a commands details tftp Download programs through TFTP. h

16、otcmd List current hot commands. quit Quit from CLI command line. CtrlCtrlhelp debug Syntax: debug (-on | -off) Usage Details:on: Open fset debug message. off: Close fset debug message. Examples:debug -on debug -off CtrlCtrldebug on CtrlCtrlquit 1.2 系统灾难恢复 1.2.1 系 统密码恢复 RG-S5760 交换机初始无密码，如密码忘记，通过以下步

17、骤进行恢复： 在设备使用过程中，如果忘记密码，可以采取如下步骤恢复密码。 1. 加电启动， 同时按住“ ctrl ”和“ c ”键进入 ctrl 模式， 通过 Xmoden 将配置文件 config.text 下载到 PC 。 *Oct 25 2 System bootstrap . Nor Flash ID: 0x00010049, SIZE: 2097152Byte Press Ctrl+B to enter Boot Menu . Load Ctrl Program .Executing program, launch at: 0x01000000Ctrl Version: RGOS 1

18、0.3(4), Release(43933) 1 NAND chips(chip size : 33554432) detected Press Ctrl+C to enter Ctrl Menu= Ctrl Menu(Ctrl+Z to upper level) = *TOP menu items. *0. Tftp utilities. 1. XModem utilities. 2. Run Main. 3. Run an Executable file. 4. File management utilities. 5. Scattered utilities. * Press a key

19、 to run the command: 1= Ctrl Menu(Ctrl+Z to upper level) = *XModem utilities. *0. Upgrade CTRL. 1. Upgrade Main program. 2. Download a special file to filesystem. 3. Down to memory and jump to run. 4. Upload a file to PC. * Press a key to run the command: 4 Plz enter the filename:config.textNow, beg

20、in upload special file through XModem.Starting xmodem transfer. Press Ctrl+C to cancel. Transferring test. 1152 bytes 192 bytes/sec 00:00:06 0 Errors OK, upload file successfully! 2.将下载的配置文件删除密码字段部分， 回到主菜单文件操作项， 删除配置文件 config.text 。 3. 加载主程序，启动交换机配置文件，系统恢复为无配置状况，再将配置文件重新粘贴添加。 1.2.2 版本升级及回退 相关内容请参考锐捷

21、交换机 RGNOS 10.2 版本升级操作指导。 1.3 故障处理基本逻辑 1.3.1 流程图 1.3.2 流程介绍 流程简介 S5760 系列交换机产品问题，通常可以遵循上述流程进行故障定位。 硬件问题 分为设备本身、互联设备的问题和线路连接问题。 开机无法通过自检； 设备接口损害或者雷击烧毁； 风扇噪音或停转； 电源无输出或警示灯长亮； 此类故障排查可参考安装手册。对于比较明显的硬件故障可以直接定位， 对于确认的高端产品硬件故障按照硬件故障处理流程处理， 有些硬件故障无法直接定位在配置和软件排查过程中可能深入分析后才能确认。 配置 / 环境 / 已知问题 首先查询交换机现有版本的 rele

22、ase 及锐捷交换机预警通告，锐捷交换机 FAQ ， 通过结合网络环境以及配置分析， 确认是否为现有版本上已知的 BUG 或功能限制，并同 TAC 确认解决方式。 排除上述问题的可能性后， 则对配置功能进行深入分析， 针对某功能的特性、 设备兼容等专项故障维护， 参见后续故障排查章节。 软件问题 如配置正确，现场工程师经过多方排查（参见后续故障排查章节），仍无法解决问题，提供充分必要的数据分析信息， 在服务事件管理系统提交 CASE ，请 TAC 工程师协助处理。 1.4 网络联通性 1.4.1 Ping 功能简介 Ping 功能用来检查 IP 网络连接及主机是否可达。 通常，如果不能 Pin

23、g 到某台主机，则不能对这台主机进行 Telnet 或者 FTP 操作。 Ping 是通过向目的地发送 ICMP ECHO-REQUEST 报文，如果到目的地网络连接正常，目的地主机接收到 ICMP ECHO-REQUEST 报文后，向源主机响应 ICMP ECHO-REPLY 报文。可以用 Ping 命令测试网络连接是否出现故障或网络线路质量等，其输出信息包括： 目的地对每个 ECHO-REQUEST 报文的响应情况， 如果在超时时间内没有收到响应报文，则输出“”，否则输出“！” 最后的统计信息，包括发送报文个数， 接收到响应报文个数，响应报文数百分比和响应时间的最小，最大和平均值 功能示例

24、 Ping 不可达的输出 S5760#ping 192.168.197.5 Sending 5, 100-byte ICMP Echoes to 192.168.197.5, timeout is 2 seconds: . Success rate is 0 percent (0/5) Ping 可达的输出 S5760#ping 192.168.197.1 Sending 5, 100-byte ICMP Echoes to 192.168.197.1, timeout is 2 seconds: ! Success rate is 100 percent (5/5), round-trip

25、min/avg/max = 1/4/10 ms 功能维护 如果出现无法 Ping 通的情况，可以通过以下方法来确认问题的所在： 查看目的地址的所属接口是否是 UP 的 查看链路中是否存在 IP 地址冲突 查看是否正确的学习到对端的 MAC 地址 查看从本机到目的地址是否存在路由 查看目的网络是否存在回程路由 如果上述步骤中都没有发现问题， 则可以打开 Debug ip packet ， Debug ip icmp ， Debug ip error 调试开关来查看报文的收发流程。 Debug 命名请参考 S5760 命令参考手册。 1.4.2 Traceroute 功能简介 Traceroute

26、 命令用来测试数据包从发送主机到目的地所经过的网关，主要用于检查网络连接是否可达，以及辅助分析网络在何处发生了故障。Traceroute 命令的执行过程： 首先发送一个 TTL 为 1 的数据包， 因此第一跳发送回一个 ICMP TTL-expired 超时报文以指明此数据包不能被发送（因为 TTL 超时）， 之后此数据包被重新发送， TTL 为 2 ， 同样第二跳返回 TTL 超时， 这个过程不断进行， 直到到达目的地。 执行这些过程的目的是记录每一个 ICMP TTL 超时报文的源地址， 以提供一个 IP 数据包到达目的地所经历的路径。功能示例 S5760# Traceroute 61.1

27、54.22.36 Tracing the route to 61.154.22.36 1 192.168.12.1 0 msec 0 msec 0 msec 2 192.168.9.2 4 msec 4 msec 4 msec 3 192.168.9.1 8 msec 8 msec 4 msec 4 192.168.0.10 4 msec 28 msec 12 msec 5 202.101.143.130 4 msec 16 msec 8 msec 6 202.101.143.154 12 msec 8 msec 24 msec 7 61.154.22.36 12 msec 8 msec 22

28、 msec 从上面的结果可以清楚地看到，从源地址要访问 IP 地址为 61.154.22.36 的主机， 网1络数据包都经过了哪些网关（ 1-6 ），同时给出了到达该网关所花费的时间。 功能维护 网络中某些网关不通的 Traceroute 例子： S5760# Traceroute d 202.108.37.42 Tracing the route to 202.108.37.42 1 192.168.12.1 0 msec 0 msec 0 msec 2 192.168.9.2 0 msec 4 msec 4 msec 3 192.168.110.1 16 msec 12 msec 16 m

29、sec 4 * * * 5 61.154.8.129 12 msec 28 msec 12 msec 6 61.154.8.17 8 msec 12 msec 16 msec 7 61.154.8.250 12 msec 12 msec 12 msec 8 218.85.157.222 12 msec 12 msec 12 msec 9 218.85.157.130 16 msec 16 msec 16 msec 10 218.85.157.77 16 msec 48 msec 16 msec 11 202.97.40.65 76 msec 24 msec 24 msec 12 202.97.37.65 32 m