网络故障案例手册Ver.docx
《网络故障案例手册Ver.docx》由会员分享，可在线阅读，更多相关《网络故障案例手册Ver.docx（5页珍藏版）》请在冰豆网上搜索。
网络故障案例手册Ver
网络故障案例手册
Ver1.0
案例编号20130208
交换机硬件故障引起网络中断
典型症状
A.在交换机log中出现如下信息%SW_MATM-4-MACFLAP_NOTIF:
Host68b5.99cd.d276invlan8isflappingbetweenportGi0/33andportPo2；
B.交换机在线检查各项参数未见异常，交换机重启后报错，无法加载IOS;
其它现象
交机机载高，网络延迟大，网络丢包。
处置方法
交换机离线与网络隔离，与故障交换机连接的服务器切换到备用交换机中。
如不确认引起此故障的具体交换机，可将交换机与主网络逐一隔离。
案例具体原因
管理网络端口Port-ASIC芯片自检Fail。
以下为故障交换机启动自检全过程Log
front_end/（directory）
extractingfront_end/fe_type_1（34760bytes）
extractingfront_end/fe_type_2（78400bytes）
extractingfront_end/front_end_ucode_info（86bytes）
extractingucode_info（76bytes）
POST:
PortASICCAMSubsystemTests:
Begin
HTDPOST:
BasicTestFailed
POST:
POSTFailed
POST:
PortASICCAMSubsystemTests:
End,StatusFailed
POST:
CAMtestfailed
POSTFailed:
disablingstacklinksandshuttingdownSDP
driverclasssubsysteminitializationfailed
*Mar100:
00:
35.668:
%SYS-3-LOGGER_FLUSHING:
Systempausingtoensureconsoledebuggingoutput.
*Mar100:
00:
35.668:
%SYS-2-ASSERTION_FAILED:
Assertionfailed:
"reg_used_xdr_portid_to_lc_logical_slot（）"-Process="Init",ipl=0,pid=3
-Traceback=1DDA7F81DDAF441D46E6C11EC2B011EC4A0286CC78286CD101DE64B81DE66F41A2F5C81A26098
%Software-forcedreload
扩展
引起HostFlapping不只上述情况，大家可参考下面的文档链接：
.cisco./en/US/products/hw/switches/ps4324/products_tech_note09186a008063c36f.shtml
案例编号20130604
互联网用户访问交易网关延迟大
症状
有客户反映通过互联网连接CTP电信网关交易延迟大。
处置方法
检查网络线路的连通性及模拟客户发起Ping值测试，并与其它期货公司的网络延迟做对比。
主要做了两种比较一是测试同一线路的不同网关的延迟情况，发现CTP电信网关相对其它网关延迟略大些，但在可接受范围内。
通过与其它家期货公司的交易网关做比较，发现我司的互联网延迟确实偏大。
通过检查，确认我方网络设备负载和带宽流量并没有超出基准值。
根据客户的网络追踪情况发现有几跳延迟大，初步判断问题可能发现在互联网的传输节点上。
为进一步明确问题，我们联络了线路供应商数讯。
要求其分析数据，并给出意见。
数据通过分析认为未见明显问题，提出建议解决方案。
为升级用户侧（即我端）接入光端机的固件，并给出了升级计划。
我们同意了其意见。
并在升级前后做了数据包的追踪对比，结果如下：
升级前：
升级后：
处置结果
可以看到从11跳开始，12跳之后延迟有了较明显的减小。
通过进一步确认，从11跳开始数据包才进入数讯网络，得到了网络优化。
扩展
网络调优是需多方介入和合作的具有挑战性的技术难题，因为网络延迟和不合乎客户预期是最为直接的反映，也是客户最直接的感受。
因此遇到问题应多角度分析问题，不再局限于本公司的网络以至，从总体上把握，配合好服务商，协作处理。
案例编号20130614
仿真交易软件登录一会就报超时
症状
有客户反映通过互联网连接仿真交易网关没过几分钟就报超时错误，需要重新登陆。
处置方法
在自己电脑上登陆，确有相同现象，客户反映无误。
检查网络线路的连通性及模拟客户发起Ping包测试，发现时有丢包现象。
于是检查防火墙，CPU，内存使用率都正常，线路也无中断，连接此防火墙的其他应用都正常，怀疑是该服务器本身受到攻击或者网卡故障。
登陆该服务器检查，发现该服务器启用了两块网卡，且都配置了网关，导致网络故障。
处置结果
删除新增的网关后故障解决。
扩展
对于双网卡的服务器，不能配置两个网关，建议一个网卡配置网关，令一个配置静态路由。
例如要添加去往10.12.10.0/24网段，网关是10.12.10.1，Windows中添加静态路由的命令是：
routeadd10.12.10.0mask255.255.255.010.12.10.1–p
注意最后要加—p参数，确保重启后路由依旧有效。
案例编号20131016
第二套CTP交换机硬件故障
症状
OP网管软件报警显示SWX-B-DIR这台交换机轮询三次无应答，连接该交换机的服务器ip无法ping通。
处置方法
在自己电脑上telnet和ping该交换机均无反应，于是拿好笔记本和相关工具进机房现场查看。
发现该交换机为加电状态，但是除电源指示灯外，网络指示灯和状态指示灯都为灭，用console线连接后也无任何反应。
于是重启该交换机，重启多次后设备仍然工作异常，于是在机房里找到一个备用的交换机，找到以前备份的配置文件，重新加载导入并核对，配置完成后替换故障设备，故障排除。
处置结果
替换故障设备后故障解决。
扩展
对于设备硬件，应该有备件可以替换，相关网络配置也要经常备份，出问题后可及时恢复到最新的配置文件。
特别要注意的是替换交换机的VTP一定过要设置成透明模式。
升级会员 