【网络排错实战】交换机链路FCS错误包累积导致网络不稳定的排查与解决

“近期接到业务部门报障称所在区域网络稳定性显著下降。具体表现为流量间歇性中断业务访问时通时断且发生时间无固定规律。经初步检查接入层与汇聚层交换机端口状态未发现频繁震荡Flapping说明并非明显的物理断链。这种‘隐性丢包’由于不影响端口UP/DOWN状态常规监控往往无法及时告警给定位带来了不小的挑战。”现场网络拓扑大致这样核心交换机旁挂无线控制器核心光纤直连汇聚交换机汇聚交换机光纤直连到各个楼层楼层POE交换机再接AP。“为了方便大家理解后续的排查思路先梳理一下现场的网络拓扑架构。整体是一个典型的三层网络树状结构核心层核心交换机作为整个网络的中枢万兆光纤直连各区域的汇聚交换机同时旁挂2台无线控制器AC负责集中管理AP配置。汇聚层汇聚交换机向下通过光纤直连各个楼层的接入交换机承担VLAN终结和流量转发的角色。接入层楼层PoE交换机作为末端节点通过双绞线直接连接办公区的无线AP负责供电和数据回传。这种‘核心-汇聚-接入’的纯光缆直连架构在稳定性上通常表现优异。但也正因如此当某段物理链路出现微小的质量衰减时端口的物理状态并不会立刻Down掉导致我们很难一眼从拓扑图上直接判断出故障到底发生在核心下联、汇聚下联还是PoE接入的哪一段链路上。”网络拓扑图如下所示:“针对该用户的报障第一步是精准定位故障源。我们提取了用户终端的MAC地址登录无线控制器AC查询确认其关联在楼层的一台特定AP下。顺着这条线索我们调取了该AP最近几天的历史日志发现它确实存在间歇性离线记录。按照常规排错思路AP掉线大概率是接入层PoE交换机端口故障或物理链路中断。于是我们立即登录该AP对应的楼层PoE交换机查看端口状态和历史日志。然而诡异的是交换机日志中干干净净没有任何与该AP连接端口相关的up/down震荡记录。这就出现了一个明显的矛盾AP端确实发生了掉线但交换机端却认为物理链路一直处于正常的UP状态。这说明故障并非简单的物理断链而是某种导致业务中断、但不足以触发端口Down的隐性链路层问题。”“既然排除了端口震荡排查方向随即转向底层链路质量。我们SSH登录到该AP所在的楼层PoE交换机使用display interface命令逐一检查接口的错包统计。重点排查完下联AP的端口未发现异常后我们将目光锁定在PoE交换机的上行链路即连接汇聚交换机的光纤端口上。果不其然发现了端倪该上行接口的FCSFrame Check Sequence帧校验序列错误包计数不仅不为零而且在连续观察的几分钟内数值还在持续不断地向上累加。如下图所示:FCS错误持续递增意味着从汇聚到该楼层的这段光路中光信号传输已发生畸变或受到干扰导致到达本端的数据帧未能通过校验。这些损坏的报文被交换机不断丢弃当丢包率累积到一定程度就会直接引发上层业务卡顿和AP断线这正是网络不稳定的罪魁祸首。”锁定FCS错误源后遵循物理层“从简到繁”的排障原则首先处理线缆。使用无尘纸清洁该上行端口的光纤端面并重新插拔跳线随后执行命令将接口错包计数器清零。经过5分钟的持续观察发现FCS错误包再次出现并持续累积排除了光纤接头松动或脏污的可能。既然线缆无恙嫌疑便转移至光模块。我们准备了一个同型号的备件光模块进行替换。更换完毕后再次清零计数器并观察。这一次接口状态显示正常FCS错误包计数稳稳停留在0且在连续20分钟的观察期内未再增加。最后联系业务端测试网络卡顿现象消失业务恢复正常。