MiMo-V2.5系列推理优化：混合滑动窗口注意力效率提升，多维度协同实现性能成本双赢

MiMo-V2.5系列全流程推理优化将混合滑动窗口注意力效率发挥到极致2026年5月30日消息V2.5模型家族包括MiMo-V2.5和MiMo-V2.5-Pro融合了多项架构设计具备显著性能和效率优势。但实现这些优势面临诸多挑战本文将介绍其推理系统的端到端工程实践。1. Hybrid SWA推理效率优势先量化Hybrid SWA的理论效率边界这是后续优化的衡量基准。以MiMo-V2.5-Pro为例其70层中10层为全注意力层60层为SWA层滑动窗口大小128。与全注意力相比Hybrid SWA计算成本约为1/7KVCache存储量也降至约1/7。不同模型架构KVCache存储差异大MiMo-V2.5-Pro和MiMo-V2.5在KVCache效率方面排名第二。长序列中推理成本优势随序列增长而增大。2. KVCache系统重构MiMo-V2和MiMo-V2.5系列采用Hybrid SWA架构但早期开源推理框架和缓存系统支持不足。为此推出MiMo API选择SGLang v0.5.5作为服务后端代码库遇到挑战后构建新KVCache系统。2.1 SWA KVCache管理采用KVCache双池设计拆分全注意力和SWA池实现严格O(W)存储约束提高容量效率。逐层KVCache预取使推理缓存读取成本接近零。支持SWA的前缀缓存树从三方面修改语义保证前缀复用正确性和高效性提高有效命中率。针对不同场景优化KVCache命中率实现跨会话长前缀复用。2.2 GCache高性能分布式缓存基础设施GCache是小米存储团队开发的高性能通用缓存系统。其架构设计去中心化支持内存和磁盘缓存多语言SDK优化请求调度。网络优化使其充分发挥高速网络优势存储成本优化实现零额外存储可靠性保障确保单副本存储。2.3 缓存命中率讨论优化措施使缓存生存时间延长KV缓存命中率提高。主流高质量框架下服务器端KV缓存命中率平均达93%重度用户超95%。未来将继续迭代优化。3. 调度优化早期SGLang社区路由服务不成熟小米开发LLM - Router解决KVCache调度问题。3.1 KVCache和负载亲和性调度路由通过维护已调度请求实现KVCache亲和性调度提高L2缓存命中率和节点输入吞吐量。3.2 首次响应时间TTFT优化路由优先调度未缓存token少的请求添加等待时间惩罚机制降低长请求TTFT P90达30%。4. 预填充优化预填充阶段优化包括并行度配置、长度分桶策略、MoE负载平衡和解决NUMA冲突。优化后EP减小端到端性能提高约40%长度分桶策略提高平均预填充吞吐量目前未采用MoE负载平衡策略禁用numa_balancing参数使端到端性能提高约10%。5. 解码优化解码优化包括GPU内存优化和多token预测MTP优化。GPU内存优化使KVCache有效容量提高到约5倍MTP优化使0 - 128个token加速比达2.3倍128 - 256个token加速比达1.5倍。6. 多模态推理优化基于SGLang社区v0.5.7的EPD设计进行优化将编码器吞吐量提高一倍。优化包括架构、预处理和缓存三方面。架构优化减少GPU空闲时间简化部署预处理优化消除CPU瓶颈降低延迟缓存优化提高缓存命中率。7. 结语MiMo-V2.5系列推理效率是多维度协同优化的结果。重构KVCache管理等解决核心挑战实现Hybrid SWA理论效率提升。对MoE配置和多模态推理管道的优化也提升了服务性能。小米将部分优化贡献给开源社区推动高性能复合架构广泛应用。