我做DPDK开发时优化程序的第一反应通常是调 burst调 descriptor优化 cache调整 NUMA减少 lock因为我默认认为只要CPU足够强吞吐就一定能继续提升。但我曾经遇到一个非常诡异的问题程序不丢包CPU 没打满cache miss 不高RX queue 正常worker 也没有瓶颈然而吞吐始终卡在28~30 Gbps无论怎么优化就是上不去。最奇怪的是CPU 甚至还有空闲。第一次遇到时我怀疑过PMD 配置RX/TX descriptormbuf cacheNUMA 绑定false sharing最后才发现真正的瓶颸竟然是PCIe 带宽。而这个问题也让我真正理解了高性能网络程序里CPU 并不一定是瓶颈。一、问题现场服务器配置CPU双路 Xeon。网卡双口100G NIC程序简单 L3 forwarding。理论预期双向100G 100G至少应该接近200 Gbps二、实际结果实际只能跑到30 Gbps然后完全不再增长。三、第一反应是不是 CPU 不够查看top -H发现总的CPU只有50%说明不是算力问题。四、再检查 DPDK 常见问题逐个排查NUMA已经绑定。RX/TX queue正常。descriptor足够大。mbuf无 shortage。cache miss很低。依然没有结果。五、真正关键的一步查看 PCIe 信息后来执行lspci -vv看到LnkSta: Speed 8GT/s, Width x4这里突然感觉不对。六、什么是 PCIe x4这意味着网卡实际只工作在PCIe Gen3 x4而不是x16七、PCIe 才是网卡与 CPU 的“高速公路”很多人做 DPDK 时只关注CPU内存cache但实际上所有 packet 都必须经过PCIe。路径NIC ↓ DMA PCIe ↓ Memory ↓ CPU八、为什么 PCIe 会限制吞吐因为网卡数据必须通过 DMA写入内存。如果 PCIe 带宽不够DMA 无法继续提升。九、PCIe Gen3 x4 有多少带宽理论值大约32 Gbps扣除编码损耗后实际更低。这与现场30 Gbps几乎完全一致。十、终于找到真相程序并不是CPU 跑不动。而是PCIe 已经打满。十一、为什么会变成 x4后来发现网卡插错槽位。服务器主板有多个 PCIe slot。但并不是每个都是x16 electrical有些只是x4甚至共享 lane。十二、这类问题非常隐蔽因为网卡能正常识别DPDK 正常运行收发包正常不报错只是吞吐始终上不去。十三、为什么 CPU 还很闲因为CPU 正在等待 DMA。即数据根本没送上来。于是worker 无事可做。十四、进一步理解 DMADPDK 高性能核心之一是DMADirect Memory Access网卡直接把数据写入hugepage memory。CPU 不参与 copy。十五、DMA 的速度取决于什么关键就是PCIe bandwidth。因为DMA 本质上是在PCIe 上传输数据。十六、为什么高速网卡更依赖 PCIe例如10G NIC可能Gen3 x4还能凑合。100G NIC通常需要Gen3 x16甚至Gen4十七、另一个重要问题PCIe NUMA后来又发现网卡插在另一个 CPU socket。即NIC 在 NUMA0lcore 在 NUMA1于是DMA 后还需要QPI/UPI 跨 socket进一步增加延迟。十八、为什么 NUMA 会进一步恶化因为路径变成NIC ↓ PCIe ↓ Socket0 Memory ↓ UPI/QPI ↓ Socket1 CPU带宽和 latency 都变差。十九、perf 数据终于暴露问题后来观察perf stat发现stalled-cycles-backend很高。memory wait很高。CPU 大量时间在等数据。二十、真正修复方案后来做了几个关键调整。1. 更换 PCIe 插槽改为PCIe Gen3 x162. lcore NUMA 对齐NIC 和 CPU同 socket。3. hugepage NUMA 对齐避免 remote memory。4. BIOS 打开 full lane有些服务器默认lane 未全开。二十一、优化后结果优化前指标数值Throughput30 Gbps优化后指标数值Throughput96 Gbps几乎瞬间翻倍。二十二、这次排查真正学到什么以前我以为DPDK 优化核心是CPU。后来才意识到真正的数据路径是NIC - PCIe - Memory - CPUCPU 甚至可能只是最后一个环节。二十三、为什么很多 benchmark 不可信很多 benchmark只说某 CPU 可跑多少 Mpps但实际上PCIe laneNUMADMA pathMemory bandwidth这些同样关键。二十四、进一步理解 DPDK 哲学DPDK 从来不是“单纯 CPU 优化”。而是整条数据路径优化。包括NICPCIeDMAMemoryCacheCPU pipeline全部协同。二十五、工程经验总结做高性能网络开发一定先检查PCIe generationPCIe widthNUMA topologyDMA locality否则软件再优化也可能毫无意义。二十六、一个非常经典的误区很多人看到CPU 没满就认为还能继续优化。其实真正瓶颈可能是数据根本到不了 CPU。二十七、总结为什么 DPDK 程序吞吐始终上不去很多时候不是PMD 问题descriptor 问题CPU 不够而是PCIe bandwidth bottleneck。通过这次问题我们真正理解了核心概念PCIe laneDMANUMA localitymemory bandwidthbackend stalldata path optimization这也是高性能网络开发真正进入“系统级优化”的开始瓶颈可能已经不在代码里。而是在硬件拓扑本身。
为什么我的DPDK程序吞吐一直上不去？一次排查让我彻底理解PCIe带宽瓶颈
我做DPDK开发时优化程序的第一反应通常是调 burst调 descriptor优化 cache调整 NUMA减少 lock因为我默认认为只要CPU足够强吞吐就一定能继续提升。但我曾经遇到一个非常诡异的问题程序不丢包CPU 没打满cache miss 不高RX queue 正常worker 也没有瓶颈然而吞吐始终卡在28~30 Gbps无论怎么优化就是上不去。最奇怪的是CPU 甚至还有空闲。第一次遇到时我怀疑过PMD 配置RX/TX descriptormbuf cacheNUMA 绑定false sharing最后才发现真正的瓶颸竟然是PCIe 带宽。而这个问题也让我真正理解了高性能网络程序里CPU 并不一定是瓶颈。一、问题现场服务器配置CPU双路 Xeon。网卡双口100G NIC程序简单 L3 forwarding。理论预期双向100G 100G至少应该接近200 Gbps二、实际结果实际只能跑到30 Gbps然后完全不再增长。三、第一反应是不是 CPU 不够查看top -H发现总的CPU只有50%说明不是算力问题。四、再检查 DPDK 常见问题逐个排查NUMA已经绑定。RX/TX queue正常。descriptor足够大。mbuf无 shortage。cache miss很低。依然没有结果。五、真正关键的一步查看 PCIe 信息后来执行lspci -vv看到LnkSta: Speed 8GT/s, Width x4这里突然感觉不对。六、什么是 PCIe x4这意味着网卡实际只工作在PCIe Gen3 x4而不是x16七、PCIe 才是网卡与 CPU 的“高速公路”很多人做 DPDK 时只关注CPU内存cache但实际上所有 packet 都必须经过PCIe。路径NIC ↓ DMA PCIe ↓ Memory ↓ CPU八、为什么 PCIe 会限制吞吐因为网卡数据必须通过 DMA写入内存。如果 PCIe 带宽不够DMA 无法继续提升。九、PCIe Gen3 x4 有多少带宽理论值大约32 Gbps扣除编码损耗后实际更低。这与现场30 Gbps几乎完全一致。十、终于找到真相程序并不是CPU 跑不动。而是PCIe 已经打满。十一、为什么会变成 x4后来发现网卡插错槽位。服务器主板有多个 PCIe slot。但并不是每个都是x16 electrical有些只是x4甚至共享 lane。十二、这类问题非常隐蔽因为网卡能正常识别DPDK 正常运行收发包正常不报错只是吞吐始终上不去。十三、为什么 CPU 还很闲因为CPU 正在等待 DMA。即数据根本没送上来。于是worker 无事可做。十四、进一步理解 DMADPDK 高性能核心之一是DMADirect Memory Access网卡直接把数据写入hugepage memory。CPU 不参与 copy。十五、DMA 的速度取决于什么关键就是PCIe bandwidth。因为DMA 本质上是在PCIe 上传输数据。十六、为什么高速网卡更依赖 PCIe例如10G NIC可能Gen3 x4还能凑合。100G NIC通常需要Gen3 x16甚至Gen4十七、另一个重要问题PCIe NUMA后来又发现网卡插在另一个 CPU socket。即NIC 在 NUMA0lcore 在 NUMA1于是DMA 后还需要QPI/UPI 跨 socket进一步增加延迟。十八、为什么 NUMA 会进一步恶化因为路径变成NIC ↓ PCIe ↓ Socket0 Memory ↓ UPI/QPI ↓ Socket1 CPU带宽和 latency 都变差。十九、perf 数据终于暴露问题后来观察perf stat发现stalled-cycles-backend很高。memory wait很高。CPU 大量时间在等数据。二十、真正修复方案后来做了几个关键调整。1. 更换 PCIe 插槽改为PCIe Gen3 x162. lcore NUMA 对齐NIC 和 CPU同 socket。3. hugepage NUMA 对齐避免 remote memory。4. BIOS 打开 full lane有些服务器默认lane 未全开。二十一、优化后结果优化前指标数值Throughput30 Gbps优化后指标数值Throughput96 Gbps几乎瞬间翻倍。二十二、这次排查真正学到什么以前我以为DPDK 优化核心是CPU。后来才意识到真正的数据路径是NIC - PCIe - Memory - CPUCPU 甚至可能只是最后一个环节。二十三、为什么很多 benchmark 不可信很多 benchmark只说某 CPU 可跑多少 Mpps但实际上PCIe laneNUMADMA pathMemory bandwidth这些同样关键。二十四、进一步理解 DPDK 哲学DPDK 从来不是“单纯 CPU 优化”。而是整条数据路径优化。包括NICPCIeDMAMemoryCacheCPU pipeline全部协同。二十五、工程经验总结做高性能网络开发一定先检查PCIe generationPCIe widthNUMA topologyDMA locality否则软件再优化也可能毫无意义。二十六、一个非常经典的误区很多人看到CPU 没满就认为还能继续优化。其实真正瓶颈可能是数据根本到不了 CPU。二十七、总结为什么 DPDK 程序吞吐始终上不去很多时候不是PMD 问题descriptor 问题CPU 不够而是PCIe bandwidth bottleneck。通过这次问题我们真正理解了核心概念PCIe laneDMANUMA localitymemory bandwidthbackend stalldata path optimization这也是高性能网络开发真正进入“系统级优化”的开始瓶颈可能已经不在代码里。而是在硬件拓扑本身。
