异构协同，算力重构：CPU+GPU架构下的AI推理优化

网罗开发小红书、快手、视频号同名大家好我是展菲目前在上市企业从事人工智能项目研发管理工作平时热衷于分享各种编程领域的软硬技能知识以及前沿技术包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者《ESP32-C3 物联网工程开发实战》图书作者《SwiftUI 入门进阶与实战》超级个体COC上海社区主理人特约讲师大学讲师谷歌亚马逊分享嘉宾科技博主华为HDE/HDG我的博客内容涵盖广泛主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告同时也会提供产品优缺点分析、横向对比并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。展菲您的前沿技术领航员 大家好我是展菲 全网搜索“展菲”即可纵览我在各大平台的知识足迹。每周定时推送干货满满的技术长文从新兴框架的剖析到运维实战的复盘助您技术进阶之路畅通无阻。文章目录引言一、为什么GPU越来越强推理却没有线性增长二、推理系统到底在消耗什么资源第一部分第二部分第三部分第四部分三、为什么CPU开始重新变得重要四、KV Cache让CPU和GPU重新绑定五、PagedAttention为什么改变行业六、MoE为什么天然适合异构架构七、Agent时代最重要的是Runtime协同八、未来推理优化将从GPU优化变成系统优化九、未来数据中心会从GPU中心转向异构中心CPU 负责GPU 负责DPU 负责NPU 负责十、异构协同正在成为AI基础设施的新范式第一阶段第二阶段第三阶段总结引言过去几年AI 基础设施领域有一个非常普遍的认知GPU决定AI能力于是整个行业的关注点几乎都集中在更强GPU 更大显存 更高带宽演进之路是V100 A100 H100 B200 GB200很多企业建设 AI 平台时最先关注的往往也是买多少GPU但随着大模型逐渐进入生产环境一个越来越现实的问题开始出现GPU越来越强 推理效率却没有同步提升很多团队会发现GPU利用率只有30% ~50%而与此同时CPU已经满载甚至出现的现象是GPU等待CPU于是行业开始意识到AI推理的瓶颈已经不再只是GPU。而是CPU GPU Memory Network Runtime共同构成的系统问题换句话说未来AI推理优化本质上是一场异构协同优化。而不是单纯的 GPU 优化。一、为什么GPU越来越强推理却没有线性增长很多人理想中的推理过程是Prompt ↓ GPU ↓ Answer似乎 GPU 就完成了全部工作但真实系统里实际上是Request ↓ CPU解析 ↓ Token预处理 ↓ GPU推理 ↓ CPU后处理 ↓ 返回结果例如tokenstokenizer.encode(prompt)gpu.forward(tokens)resulttokenizer.decode(output)这里Tokenizer本身就运行在 CPU而且随着上下文越来越长32K 128K 1M ContextCPU 开销也越来越大因此很多场景下GPU不是瓶颈 CPU才是瓶颈二、推理系统到底在消耗什么资源很多人认为推理 矩阵计算实际上现代 AI 推理包含四部分。第一部分Pre-processing例如tokenizer.encode()prompt.build()template.render()全部由 CPU 完成。第二部分Inference例如attention()matmul()ffn()主要由 GPU 执行。第三部分Post-processing例如tokenizer.decode()json.parse()response.format()依然属于 CPU 工作。第四部分Runtime Scheduling例如queue.schedule()batch.merge()cache.route()同样由 CPU 控制所以真正的推理链路其实是CPU ↓ GPU ↓ CPU ↓ Runtime而不是GPU ↓ GPU ↓ GPU三、为什么CPU开始重新变得重要训练时代GPU负责99%CPU更多是辅助角色但Agent时代出现以后任务复杂度远远超过模型复杂度例如一个企业Agent收到请求分析本月销售情况实际执行流程可能是crm.query()erp.query()report.build()llm.reason()email.send()这里真正使用 GPU 的时间可能只有llm.reason()其余大量时间消耗在IO 调度 缓存 状态管理这些全部属于CPU领域于是未来Agent越多CPU越重要。四、KV Cache让CPU和GPU重新绑定长上下文出现以后行业开始遇到新的问题KV Cache越来越大例如8K 32K 128K 1M上下文增长时KV Cache也同步增长很多时候显存根本装不下于是开始出现CPU Memory GPU Memory协同管理模式例如hot_cache-GPU cold_cache-CPU当访问历史内容时load_to_gpu()动态迁移这本质上就是Memory Tiering即分层内存架构未来越来越重要。五、PagedAttention为什么改变行业过去KV Cache通常连续存储结果导致显存碎片越来越严重于是出现PagedAttention核心思想类似操作系统分页机制例如Page1 Page2 Page3按需加载这样GPU负责热点数据 CPU负责冷数据实现CPU GPU协同管理上下文很多人认为PagedAttention只是推理优化其实背后反映的是AI系统越来越像操作系统。六、MoE为什么天然适合异构架构Dense Model全部参数参与计算而MoE则是只激活部分专家例如router()expert_1()expert_7()这里Router通常属于CPU调度逻辑而Expert属于GPU计算逻辑形成CPU负责决策 GPU负责执行未来超大规模 MoE 系统越来越像分布式调度系统而不只是神经网络七、Agent时代最重要的是Runtime协同过去推理一次请求 一次响应现在推理变成持续运行例如whileTrue:observe()reason()act()这时候CPU负责事件循环例如event_loop.run()GPU负责model.forward()两者不断交替形成CPU ↔ GPU持续协同模式这也是为什么Agent Runtime开始成为行业热点。八、未来推理优化将从GPU优化变成系统优化过去优化思路优化Kernel 优化CUDA 优化Attention未来优化思路优化调度 优化缓存 优化网络 优化内存例如scheduler.batch()memory.pool()cache.prefetch()很多时候减少一次数据搬运带来的收益甚至超过提升10% FLOPS因为系统效率已经开始超过计算效率成为主要瓶颈。九、未来数据中心会从GPU中心转向异构中心过去数据中心架构CPU ↓ GPU Cluster未来可能变成CPU GPU DPU NPU HBM Pool例如CPU 负责控制流GPU 负责计算流DPU 负责网络流NPU 负责边缘推理形成Heterogeneous Fabric即异构算力网络未来比拼的已经不是单个GPU而是整个系统协同效率十、异构协同正在成为AI基础设施的新范式回顾AI发展路径。第一阶段Compute Era关注GPU有多强第二阶段Model Era关注模型有多强第三阶段Agent Era关注系统有多强因为未来真正限制AI的越来越不是算不出来而是调不起来不是GPU不够而是资源协同效率不够总结很多人还在讨论下一代GPU但未来几年行业最重要的问题可能已经变成CPU如何协同GPU因为现代AI推理已经不再是一次矩阵计算而是推理 缓存 调度 通信 状态管理组成的复杂系统未来真正先进的AI平台比拼的不会只是FLOPS而是CPU调度能力 GPU计算能力 Memory管理能力 Runtime协同能力共同构成的整体效率从这个角度看异构协同不是推理优化的一部分。而是智能体时代 AI 基础设施的核心设计原则。未来的 AI 数据中心本质上不再是一堆 GPU。而是一套持续运行、动态协同、自主调度的智能计算系统。